[論文レビュー] Weakly-Supervised Alignment of Video With Text

Piotr Bojanowski, Rémi Lajugie+5 more|arXiv (Cornell University)|May 22, 2015

Video Analysis and Summarization参考文献 44被引用数 25

ひとこと要約

本稿では、時間的順序制約とベクトル表現を用いた自然言語記述と動画セグメントをアライメントする弱教師あり手法を提案する。アライメントを整数二次計画問題（IQP）として定式化し、凸緩和と条件付き勾配最適化を用いて解くことで、TACoSデータセット上で65.4%の精度を達成し、最先端性能を実現した。ROOT+DOBJのテキスト表現を用いた。

ABSTRACT

Suppose that we are given a set of videos, along with natural language descriptions in the form of multiple sentences (e.g., manual annotations, movie scripts, sport summaries etc.), and that these sentences appear in the same temporal order as their visual counterparts. We propose in this paper a method for aligning the two modalities, i.e., automatically providing a time stamp for every sentence. Given vectorial features for both video and text, we propose to cast this task as a temporal assignment problem, with an implicit linear mapping between the two feature modalities. We formulate this problem as an integer quadratic program, and solve its continuous convex relaxation using an efficient conditional gradient algorithm. Several rounding procedures are proposed to construct the final integer solution. After demonstrating significant improvements over the state of the art on the related task of aligning video with symbolic labels [7], we evaluate our method on a challenging dataset of videos with associated textual descriptions [36], using both bag-of-words and continuous representations for text.

研究の動機と目的

• 手動でのフレームレベルのアノテーションが高コストまたは不可能な状況において、長時間の動画クリップと自然言語記述をアライメントする課題に対処すること。
• 象徴的アクションラベルの代わりに意味的に意味のある自然言語の監視を用いることで、動画理解を向上させること。
• 時間的順序と動画・テキスト特徴間の暗黙の線形写像を活用した弱教師ありアライメント手法の開発。
• 弱教師あり動画・テキストアライメントにおいて、連続的テキスト表現（例：単語埋め込み）とBag-of-Wordsモデルの性能を比較すること。
• 劣化解を防ぎ、アライメント精度を向上させるために、事前知識（例：期間とバンド制約）の影響を調査すること。

提案手法

• 動画・テキストアライメントを、動画とテキスト特徴空間の間の暗黙の線形写像を含む整数二次計画問題（IQP）として定式化する。
• 収束性とスケーラビリティを保証するため、効率的な条件付き勾配アルゴリズムを用いてIQPを連続的凸緩和で解く。
• 緩和された連続解から整数解を回復するためにラウンド処理を適用し、時間的順序制約を保持する。
• 2つの事前知識を組み込む：期間事前分布（ガウス分布）とバンド事前分布（時間的経路制約）を用いて、劣化アライメントを回避する。
• 連続的テキスト表現（例：W2V, VNA, UKWAC）とBag-of-Wordsプーリング（例：ROOT, ROOT+DOBJ）を用いてテキスト特徴を表現する。
• 弱教師あり動画ラベル付けに関する先行研究を改変した判別的クラスタリングフレームワークと判別的コスト関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 時間的順序とベクトル表現を用いた自然言語特徴のみで、弱教師あり手法が正確な動画・テキストアライメントを達成できるか？
• RQ2 弱教師あり動画・テキストアライメントにおいて、連続的テキスト表現とBag-of-Wordsモデルの性能はどのように比較されるか？
• RQ3 期間およびバンド制約といった事前知識が、アライメント性能を向上させ、劣化解を防ぐ効果をどの程度持つか？
• RQ4 部分的なフレームレベルアノテーションを用いた半教師あり微調整が、アライメント精度を顕著に向上させるか？
• RQ5 本手法は、異なるテキスト表現学習戦略およびコーパスサイズに対してどの程度頑健か？

主な発見

• 本手法は、TACoSデータセットにおいてROOT+DOBJテキスト表現を用いた半教師あり設定で65.4%のアライメント精度を達成し、対応する対角線ベースライン（35.2%）および先行研究[7]（39.0%）を顕著に上回った。
• 期間事前分布をσが適切に調整された状態で使用すると、性能が0.441（σが無限大）から0.475に向上し、劣化解を回避する役割を果たすことが示された。
• バンド事前分布の幅β = 0.1およびα ≈ 10が最適な性能をもたらし、αが大きくなると経路制約が厳しすぎることで性能が平坦化した。
• TACoSコーパスで事前学習された連続的テキスト表現は、UKWAC や Google News などの大規模コーパスからのものよりも優れた性能を示し、ドメイン特化型事前学習の有効性を示唆した。
• 最も性能の良かったBag-of-Wordsモデルは動詞のみを用いており、豊富な表現が十分な監視がなければ弱教師ありモデルを誤導する可能性があることを示した。
• 半教師あり学習でデータセットの半分のタイムス탬プを追加した結果、性能は監視なしの48.7%から65.4%（ROOT+DOBJ）に向上し、部分的監視の価値を確認した。