[論文レビュー] Temporal Sentence Grounding in Videos: A Survey and Future Directions

Hao Zhang, Aixin Sun+2 more|arXiv (Cornell University)|Jan 20, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本サーベイは、動画内の時間的文脈の特定（TSGV）について包括的な概要を提供し、基礎的概念、現在の技術、今後の研究方向性をカバーしている。マルチモーダル理解と相互作用の手法を体系的にレビューし、既存のアプローチを分類体系に整理し、クロスモダリティ動画検索および動画理解分野における主な課題と有望な研究分野を特定している。

ABSTRACT

Temporal sentence grounding in videos (TSGV), \aka natural language video localization (NLVL) or video moment retrieval (VMR), aims to retrieve a temporal moment that semantically corresponds to a language query from an untrimmed video. Connecting computer vision and natural language, TSGV has drawn significant attention from researchers in both communities. This survey attempts to provide a summary of fundamental concepts in TSGV and current research status, as well as future research directions. As the background, we present a common structure of functional components in TSGV, in a tutorial style: from feature extraction from raw video and language query, to answer prediction of the target moment. Then we review the techniques for multimodal understanding and interaction, which is the key focus of TSGV for effective alignment between the two modalities. We construct a taxonomy of TSGV techniques and elaborate the methods in different categories with their strengths and weaknesses. Lastly, we discuss issues with the current TSGV research and share our insights about promising research directions.

研究の動機と目的

• 時間的文脈の特定（TSGV）を視覚言語タスクの基本的側面として、体系的なレビューを提供すること。
• 2段階型およびプロポーザルベースの手法から、プロポーザルフリー型、強化学習ベース、弱教師あり手法に至るTSGV手法の進化を分析すること。
• アーキテクチャと定式化に基づいてTSGV技術の分類体系を構築し、各カテゴリの長所と短所を強調すること。
• 現在のTSGV研究における重要な課題、すなわち一般化性能、評価バイアス、マルチモーダルクエリ用の統一されたフレームワークの欠如を特定すること。
• 動画コーパスモーメントリtrieval（VCMR）、多言語一般化、音声および他のモダリティの統合といった今後の研究分野を検討すること。

提案手法

• 本サーベイはチュートリアル形式の構造を採用し、生動画および自然言語クエリからの特徴抽出から出発する。
• 動画と言語表現のアライメントを図るマルチモーダル相互作用技術をレビューし、クロスアテンション、ラテン相互作用、共同埋め込み学習に焦点を当てる。
• 手法的カテゴリに基づく分類体系を構築する：プロポーザルベース、プロポーザルフリー、強化学習ベース、弱教師あり手法。
• 音声、字幕、マルチモーダルクエリがアライメント精度と局所化精度を向上させる役割を分析する。
• TSGVの拡張としての動画コーパスモーメントリtrieval（VCMR）を検討し、大規模な動画コレクションにおける効率的な動画検索とモーメント局所化を要件とする。
• DiDeMo、Charades-STA、ActivityNet Captions、TVR、mTVRといった既存のベンチマークを評価し、その限界と実世界への適用適合性を議論する。

実験結果

リサーチクエスチョン

• RQ1 TSGV手法は、初期の2段階型アプローチから、現代のエンドツーエンドモデルへとどのように進化したか？
• RQ2 プロポーザルベースとプロポーザルフリーのTSGV手法には、どのような主な違いとトレードオフがあるか？
• RQ3 現在のモデルは、ドメイン、言語、動画分布の間でどの程度一般化できるか？
• RQ4 音声や他のモダリティを効果的に統合することで、時間的文脈の特定性能をどのように向上させられるか？
• RQ5 TSGVを大規模な動画コーパス（VCMR）にスケーリングするにあたり、主な課題は何か。それらはどのように解決できるか？

主な発見

• TSGVは、候補サンプリングに依存する2段階型手法から、深層マルチモーダル相互作用を用いたより効率的で正確なエンドツーエンドモデルへと進化した。
• プロポーザルフリー手法は、ベンチマークデータセット上で競争力ある性能を維持しつつ、計算コストを低減する可能性を示している。
• 対照学習と階層的トランスフォーマーに基づくモデルは、特にVCMR環境下で、動画・言語アライメントの効率性と正確性を向上させた。
• 多言語拡張（mTVR）は、多言語間一般化が可能であることを示しているが、言語間での性能ギャップが依然として課題のままである。
• 音声信号およびASRで変換された字幕は、Chenら[99]の研究で示されるように、標準ベンチマーク上での性能向上をもたらす。
• 進展は見られても、現在のモデルはベンチマークデータに過学習しやすく、分布シフトや多様で大規模な学習データの不足により、実世界での性能は依然として限界がある。