[論文レビュー] Deep Multimodal Feature Encoding for Video Ordering

Vivek Sharma, Makarand Tapaswi+1 more|arXiv (Cornell University)|Apr 5, 2020

Human Pose and Action Recognition参考文献 65被引用数 6

ひとこと要約

本稿では、時間的セグメントに跨る視覚的・聴覚的・言語的特徴を統合することで、コン act なマルチモodal動画表現を学習する自己教師あり手法であるTemporal Compact Bilinear Pooling (TCBP) を提案する。不規則な動画クリップの順序付けという新しい代理タスクを用いて訓練することで、UCF101 や HMDB51 において C3D や二重ストリームネットワークを凌駕する最先端の性能を達成し、時間的およびマルチモーダルな相互作用を統合的に活用している。

ABSTRACT

True understanding of videos comes from a joint analysis of all its modalities: the video frames, the audio track, and any accompanying text such as closed captions. We present a way to learn a compact multimodal feature representation that encodes all these modalities. Our model parameters are learned through a proxy task of inferring the temporal ordering of a set of unordered videos in a timeline. To this end, we create a new multimodal dataset for temporal ordering that consists of approximately 30K scenes (2-6 clips per scene) based on the "Large Scale Movie Description Challenge". We analyze and evaluate the individual and joint modalities on three challenging tasks: (i) inferring the temporal ordering of a set of videos; and (ii) action recognition. We demonstrate empirically that multimodal representations are indeed complementary, and can play a key role in improving the performance of many applications.

研究の動機と目的

• 動画クリップの視覚的・聴覚的・言語的特徴を統合する、コンパクトな統合的マルチモーダル表現の開発を目的とする。
• クリップレベルの表現を高価なアノテーションなしに学習するための自己教師あり代理タスクとして、不規則な動画クリップの時間的順序付けを導入する。
• 学習および評価のための新しいマルチモーダルデータセット（約3万件の順序付き映画シーン、1シーンあたり2〜6クリップ）の作成を目的とする。
• マルチモーダル統合と時間的モデリングが動画理解タスクに与える有効性を評価することを目的とする。
• TCBP が、アクション認識などの下流タスクにおける性能向上に寄与することを実証することを目的とする。

提案手法

• 時間的ダイナミクスを統合できるように、Tensor Sketchに基づくコンパクトな双一次プーリングを拡張したTemporal Compact Bilinear Pooling (TCBP) を提案する。
• 視覚的および聴覚的特徴を抽出するために、C3D や ResNet などの深層事前学習モデルを用い、テキスト埋め込みには CLIP を使用する。
• TCBP を用いて、複数の時間的セグメント（通常は2〜5秒）に跨るモダリティ間のペアワイズ相互作用を符号化し、サイズ8192のコンパクトな特徴ベクトルを生成する。
• 正例と負例のクリップペアを用いたコントラスト学習損失を用いてモデルを訓練する：$\mathcal{L} = \sum_{(V_i,V_j)\in Pos} L(V_i,V_j) + \sum_{(V_i,V_j^\prime)\in Neg} \max(0, \alpha - L(V_i,V_j^\prime))$、マージン $\alpha = 0.2$。
• 時間的順序の正しさを予測するため、シアン型の二重ネットワークアーキテクチャを用いてクリップペアを比較する。
• 3セグメントのTSNアーキテクチャを用い、各セグメントをC3Dで処理し、要素ごとの乗算とTCBPを介して最終的な符号化を実現する。

実験結果

リサーチクエスチョン

• RQ1 動画クリップの順序付けに基づく自己教師あり代理タスクは、頑健なマルチモーダル表現を効果的に学習できるか？
• RQ2 視覚的・聴覚的・言語的モダリティごとの個別的特徴とそれらの統合的符号化は、時間的順序付け性能にどのように寄与するか？
• RQ3 コンパクトなマルチモーダル符号化手法としてのTCBPは、アクション認識などの下流タスクにおける性能向上を実現するか？
• RQ4 双一次プーリングやNetVLADなどの既存のプーリング手法と比較して、TCBPは時間的およびクロスモーダル相互作用をどの程度効果的に捉えられるか？
• RQ5 負例の導入は、時間的順序付け表現の学習をどの程度向上させるか？

主な発見

• UCF101 では88.03%、HMDB51 では61.58% の精度を達成し、C3D（82.3% および 56.8%）、二重ストリームネットワーク（88.0% および 59.4%）、iDT+FV（85.9% および 57.2%）を上回る。
• 訓練時に負例を含めることで、正例のみの訓練に比べて性能が向上し、一般化能力の向上が示された。
• 視覚的・聴覚的・言語的特徴の統合的マルチモーダル表現は、単一モーダル表現よりも優れた性能を示し、相補性が確認された。
• TCBP は双一次プーリング（CBP）や iDT+FV よりも顕著に優れており、時間的およびクロスモーダル相互作用を効果的にモデル化できていることが示された。
• 追加データや微調整を必要とせず、アクション認識タスクで最先端の性能を達成した。これは、学習済み特徴の頑健性を示している。
• 約3万件の順序付き映画シーンからなる提案されたデータセットは、将来的なマルチモーダル動画理解研究のための貴重なベンチマークを提供する。