[論文レビュー] A Joint Sequence Fusion Model for Video Question Answering and Retrieval

Youngjae Yu, Jong-Seok Kim+1 more|arXiv (Cornell University)|Aug 7, 2018

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文では、ビデオや言語などのマルチモーダルな順序データ間の意味的類似度を測定するための共同順序融合モデルであるJSFusionを提案する。Joint Semantic Tensor (JST) を用いて密なペアワイズ表現を生成し、Convolutional Hierarchical Decoder (CHD) により注意メカニズムを介した階層的アライメントを発見する。このモデルは、LSMDCおよびMSR-VTTデータセットにおける動画質問応答およびリtrievalタスクで最先端の性能を達成している。

ABSTRACT

We present an approach named JSFusion (Joint Sequence Fusion) that can measure semantic similarity between any pairs of multimodal sequence data (e.g. a video clip and a language sentence). Our multimodal matching network consists of two key components. First, the Joint Semantic Tensor composes a dense pairwise representation of two sequence data into a 3D tensor. Then, the Convolutional Hierarchical Decoder computes their similarity score by discovering hidden hierarchical matches between the two sequence modalities. Both modules leverage hierarchical attention mechanisms that learn to promote well-matched representation patterns while prune out misaligned ones in a bottom-up manner. Although the JSFusion is a universal model to be applicable to any multimodal sequence data, this work focuses on video-language tasks including multimodal retrieval and video QA. We evaluate the JSFusion model in three retrieval and VQA tasks in LSMDC, for which our model achieves the best performance reported so far. We also perform multiple-choice and movie retrieval tasks for the MSR-VTT dataset, on which our approach outperforms many state-of-the-art methods.

研究の動機と目的

• 動画や自然言語文などのマルチモーダルな順序データ間における微細な意味的類似度を測定する課題に対処すること。
• ビデオのサブイベントと言語記述のフレーズ間の階層的マッチングを可能にし、単一ベクトル埋め込みの限界を克服すること。
• アノテーションやセグメンテーションの事前ラベルが不要な、汎用的かつ柔軟なフレームワークを構築すること。
• エンドツーエンドで学習可能なアテンションメカニズムを用いて、既存手法を上回る性能を達成すること。

提案手法

• Joint Semantic Tensor (JST) は、ハダマード積を用いて動画フレームと言語語彙の間の密なペアワイズ埋め込みから3次元テンソルを構築し、階層的アテンションによって精錬する。
• Convolutional Hierarchical Decoder (CHD) は、学習可能なゲートを備えた畳み込み層を用いて、JSTテンソルから局所的アライメントおよび階層的構成表現を発見する。
• JSTおよびCHDの両方でボトムアップアテンション機構を用いて、適切にマッチしたパターンを促進し、誤ってアラインされたものを抑制する。
• JST処理の前段階で、両方の動画および言語シーケンスに対してBLSTMエンコーダーを用い、長距離依存性を捉える。
• 最終的な類似度スコアは、CHDによって階層的マッチングを統合してシーケンスペア全体の1つのマッチングスコアに集約される。
• リtrievalタスクではコントラスト学習、QAタスクでは交差エントロピー損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 共同順序統合モデルは、動画と言語シーケンス間の階層的意味的マッチングを効果的に捉えることができるか？
• RQ2 3次元の共同テンソルと階層的デコーディングを用いることで、単一ベクトル埋め込みと比較して動画・言語マッチングタスクの性能が向上するか？
• RQ3 JSTおよびCHDにおけるアテンション機構は、より良いアライメントと誤ってアラインされた表現のプルーニングにどのように寄与するか？
• RQ4 提案されたモデルは、複数選択QAやリtrievalを含む多様な動画・言語タスクに一般化可能か？
• RQ5 各コンポonent（例：アテンション、畳み込み、プーリング）の全体的な性能への寄与度は何か？

主な発見

• JSFusionは、LSMDCの3つのチャレンジ（複数選択テスト、映画リtrieval、穴埋め）において、先行手法と顕著な差を示して最高の報告性能を達成した。
• MSR-VTTデータセットでは、複数選択QAおよび映画リtrievalタスクの両方で、多数の最先端モデルを上回り、多様な動画コンテンツにわたる強力な一般化能力を示した。
• アブレーションスタディの結果、CHDの畳み込み層およびゲートを削除すると、正確性と再現率で4.1–5.7%の低下が生じ、それらの重要性が裏付けられた。
• 音声入力を含まないモデルは、完全なモデルと比較してわずかに性能が劣るにとどまり、視覚的および言語的特徴が性能の主な駆動要因であることを示した。
• 定性的分析により、JSFusionは文全体の文脈を効果的に活用し、関連する視覚的サブイベントに注目していることが確認されたが、顔の表情や語順のニュアンスといった微細な視覚的手がかりを誤って特定することがあることが分かった。