[論文レビュー] Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos

Shaoxiang Chen, Wenhao Jiang+2 more|arXiv (Cornell University)|Jul 28, 2020

Multimodal Machine Learning Applications参考文献 3被引用数 11

ひとこと要約

本稿では、視覚的、運動的、音声的、および潜在的意味的モダリティの間で、順序およびチャネルレベルの両方で細分化されたペアワイズ相互作用をモデル化する、新しい手法であるペアワイズモダリティインタラクション（PMI）を提案する。チャネルゲート付きバイリニアモデルを用いて、順序およびチャネルレベルの両方で視覚的、運動的、音声的、および潜在的意味的モダリティのペアワイズ相互作用をモデル化する。このアプローチにより、時間的文脈局所化およびイベントキャプションの4つのベンチマークデータセットで最先端の性能を達成し、マルチモーダル特徴の統合を強化するとともに、学習されたモダリティ重要度重みを用いて説明可能性を提供する。

ABSTRACT

Automatically generating sentences to describe events and temporally localizing sentences in a video are two important tasks that bridge language and videos. Recent techniques leverage the multimodal nature of videos by using off-the-shelf features to represent videos, but interactions between modalities are rarely explored. Inspired by the fact that there exist cross-modal interactions in the human brain, we propose a novel method for learning pairwise modality interactions in order to better exploit complementary information for each pair of modalities in videos and thus improve performances on both tasks. We model modality interaction in both the sequence and channel levels in a pairwise fashion, and the pairwise interaction also provides some explainability for the predictions of target tasks. We demonstrate the effectiveness of our method and validate specific design choices through extensive ablation studies. Our method turns out to achieve state-of-the-art performances on four standard benchmark datasets: MSVD and MSR-VTT (event captioning task), and Charades-STA and ActivityNet Captions (temporal sentence localization task).

研究の動機と目的

• 時間的文脈局所化やイベントキャプションなどの動画理解タスクにおいて、明示的なクロスモダリティ相互作用のモデリングが不足している問題に対処すること。
• 視覚的、運動的、音声的、および潜在的意味的モダリティの間で補完的な情報を捉えることで、構造的な相互作用メカニズムを用いて性能を向上させること。
• ペアワイズ相互作用を通じて学習されたモダリティ重要度重みにより、モデルの解釈可能性を高めること。
• 従来、C3Dなどのユニモーダル特徴が支配的であった文脈局所化というタスクに、マルチモーダルフレームワークを確立すること。
• 標準ベンチマーク上でのアブレーションスタディおよび比較を通じて、PMIの有効性を検証すること。

提案手法

• 各ペアワイズモダリティ特徴シーケンス間の順序およびチャネルレベルでのペアワイズ相互作用をモデル化する、チャネルゲート付きバイリニアモダリティインタラクション（CGBMI）層を提案する。
• すべてのペアワイズ相互作用の出力を、関連するモダリティコンビネーションを強調する学習可能な重要度重みを用いて融合する。
• 動画およびテキストエンコーダーの両方にモダリティインタラクションを統合し、時間的局所化のための動画-テキストアライメントを向上させる。
• 動画の内容理解を豊かにするために、潜在的意味表現を追加のモダリティとして統合する。
• 共注意力および境界回帰を備えたエンコーダ-デコーダアーキテクチャを採用し、キャプションおよび局所化タスクのエンドツーエンド学習を実現する。
• 高次のモダリティ特徴間の相互作用を捉えるバイリニア相互作用機構を採用し、表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単なる特徴連結を超えて、明示的なペアワイズモダリティインタラクションが、時間的文脈局所化およびイベントキャプションの性能向上に寄与するか？
• RQ2 視覚-音声や運動-視覚などの異なるモダリティコンビネーションは、正確な局所化およびキャプション生成にどのように寄与するか？
• RQ3 順序およびチャネルレベルの両方で相互作用をモデリングすることは、単一レベルの相互作用よりも優れた表現学習をもたらすか？
• RQ4 モダリティインタラクションは、特定の予測においてどのモダリティが最も影響力かを特定するなど、モデルの予測に対する説明可能なインサイトを提供できるか？
• RQ5 提案手法は、イベントキャプションおよび時間的局所化の両タスクを含め、多様なデータセットおよびタスクに一般化可能か？

主な発見

• Charades-STAデータセットでは、提案されたPMI-LOC（C+IRV2+A）モデルが、IoU=0.3で58.08%、IoU=0.5で42.63%、IoU=0.7で21.32%の局所化精度を達成し、すべての先行手法を上回った。
• ActivityNet Captionsデータセットでは、PMI-LOC（C+IRV2+A）が、IoU=0.3で61.22%、IoU=0.5で40.07%、IoU=0.7で18.29%の精度を達成し、新たな最先端結果を樹立した。
• アブレーションスタディの結果、音声および潜在的意味的モダリティを追加することで性能が一貫して向上し、特に複雑または曖昧な動画セグメントで顕著な向上が見られた。
• 定性的な分析から、動画の種類に応じてモダリティインタラクションのパターンが異なることが示された：スポーツ動画では視覚-運動、調理動画では視覚-音声、アニメーション動画では潜在的意味が顕著であった。
• モデルのモダリティ重要度重みは説明可能性を提供し、キッチンの音声やダイナミックな動作など、特定のイベントにおいて支配的であるモダリティを正しく特定した。
• イベントキャプションタスクにおいても、MSVDおよびMSR-VTTの両方で最先端の性能を達成し、PMI-CAPは既存の最先端モデルを上回った。