[論文レビュー] Text-to-Clip Video Retrieval with Early Fusion and Re-Captioning.

Huijuan Xu, Kun He+3 more|arXiv (Cornell University)|Apr 13, 2018

Multimodal Machine Learning Applications参考文献 50被引用数 23

ひとこと要約

本稿では、視覚と言語の特徴を早期に統合することで、検索精度と効率性を向上させる、マルチレベルのテキストからクリップへの動画検索モデルを提案する。クリップ候補生成段階でテキスト特徴を統合し、視覚特徴を語のレベルでの文処理を調整することで、クエリ再生成を補助タスクとして含むマルチタスク損失を用いることで、Charades-STA および ActivityNet Captions ベンチマークで最先端の性能を達成する。

ABSTRACT

We address the problem of text-based activity retrieval in video. Given a sentence describing an activity, our task is to retrieve matching clips from an untrimmed video. To capture the inherent structures present in both text and video, we introduce a multilevel model that integrates vision and language features earlier and more tightly than prior work. First, we inject text features early on when generating clip proposals, to help eliminate unlikely clips and thus speed up processing and boost performance. Second, to learn a fine-grained similarity metric for retrieval, we use visual features to modulate the processing of query sentences at the word level in a recurrent neural network. A multi-task loss is also employed by adding query re-generation as an auxiliary task. Our approach significantly outperforms prior work on two challenging benchmarks: Charades-STA and ActivityNet Captions.

研究の動機と目的

• 視覚と言語の特徴を早期かつ密接に統合することで、テキストベースの動画検索を向上させること。
• テキスト特徴を用いてクリップ候補生成をガイドすることで、計算コストを低減し、検索性能を向上させること。
• 視覚的調整を用いた文処理を通じて、テキストクエリと動画クリップの間の微細な類似度度量を学習すること。
• マルチタスク学習によりクエリ再生成を補助タスクとして導入することで、表現学習を強化すること。
• 2つの挑戦的な動画検索ベンチマーク、Charades-STA および ActivityNet Captions で最先端の結果を達成すること。

提案手法

• クリップ候補生成段階にテキスト特徴を統合することで、早期統合を実現し、不適切なクリップをフィルタリングし、処理を高速化する。
• 再帰的ニューラルネットワーク内での語のレベルでの文処理を、視覚的特徴で調整することで、テキストと動画の間の微細なアライメントを可能にする。
• 主タスクは検索、補助タスクはクエリ再生成であるマルチタスク学習フレームワークを採用する。
• テキスト的文脈を統合した領域候補ネットワークを用いてクリップ候補を生成することで、関連性を向上させ、探索空間を縮小する。
• 検索損失と再生成損失を組み合わせた共同損失関数を用い、両タスクを同時に最適化する。
• テキストと動画モダリティ間で共有される表現を活用することで、エンド・ツー・エンドの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 視覚と言語の特徴を早期に統合することで、テキストからクリップへの動画検索の効率性と精度が向上するか？
• RQ2 語のレベルでの文処理に対する視覚的調整は、クエリと動画クリップの間の微細なアライメントをどのように向上させるか？
• RQ3 クエリ再生成を補助タスクとして追加することで、検索のための表現学習はどの程度向上するか？
• RQ4 標準ベンチマーク、Charades-STA および ActivityNet Captions において、本手法は先行手法と比較してどのように異なるか？
• RQ5 クリップ候補生成段階でテキストを統合することで、検索性能を損なわず計算オーバーヘッドを低減できるか？

主な発見

• 提案手法は Charades-STA ベンチマークで最先端の性能を達成し、先行研究を上回る検索精度を示した。
• ActivityNet Captions データセットでは、既存の手法と比較して顕著に検索性能が向上した。
• 早期統合の活用により、候補クリップの数が削減され、推論が高速化され、計算コストが低減した。
• クエリ再生成という補助タスクは、テキストおよび動画の両方のためのより強固で判別力のある表現の学習に寄与した。
• 語のレベルでの文処理に対する視覚的調整は、より微細なアライメントを実現し、検索精度を向上させた。
• 共同最適化を伴うマルチタスク学習の設定により、さまざまな動画説明に対して一般化性能とモデルの頑健性が向上した。