[論文レビュー] Unsupervised Visual-Linguistic Reference Resolution in Instructional Videos

De-An Huang, Joseph J. Lim+2 more|arXiv (Cornell University)|Mar 7, 2017

Multimodal Machine Learning Applications参考文献 61被引用数 9

ひとこと要約

本稿では、指示動画における動作とエンティティ間の曖昧な参照を解消するために、視覚的および言語的手がかりを統合的にモデル化する非教師ありグラフ最適化フレームワークを提案する。例えば「ドレッシング」を「ヨーグルトを混ぜる」と関連付けるような参照を処理する。最先端の言語のみのモデルと比較して、精度と再現率の両方で9%の向上を達成し、マルチモーダルなアライメントが参照解釈および動画字幕アライメントの両方を向上させることを示している。

ABSTRACT

We propose an unsupervised method for reference resolution in instructional videos, where the goal is to temporally link an entity (e.g., "dressing") to the action (e.g., "mix yogurt") that produced it. The key challenge is the inevitable visual-linguistic ambiguities arising from the changes in both visual appearance and referring expression of an entity in the video. This challenge is amplified by the fact that we aim to resolve references with no supervision. We address these challenges by learning a joint visual-linguistic model, where linguistic cues can help resolve visual ambiguities and vice versa. We verify our approach by learning our model unsupervisedly using more than two thousand unstructured cooking videos from YouTube, and show that our visual-linguistic model can substantially improve upon state-of-the-art linguistic only model on reference resolution in instructional videos.

研究の動機と目的

• 視覚的外見や言語的表現が時間経過とともに変化する中で、指示動画における動作とエンティティ間の曖昧な参照を解消する課題に対処すること。
• 教師ありデータの不足を補うために、参照レベルの監督情報なしに、YouTubeの非構造的調理動画を活用する非教師あり手法を開発すること。
• 状態の変化や参照表現のシフトに起因する曖昧性を解消するために、視覚的および言語的信号を統合的にモデル化することで、参照解釈の頑健性を向上させること。
• 参照解釈が動画・音声アライメントを向上させることを示すこと、特に「それ」や「ミックス」のような曖昧な語句や代名詞に対して有効であることを示すこと。

提案手法

• ノードが動作とエンティティを表し、エッジが時間的参照を表すグラフ最適化問題として参照解釈を定式化する。
• フレーム間をまたがる微細な視覚的および言語的関係を捉えるアクショングラフ埋め込みを導入し、外見や表現の変化に対してもクロスマodalなアライメントを可能にする。
• 共有のグラフ構造を用いて、視覚的特徴と言語的表現を交互に最適化する統合的視覚的・言語的モデルを採用する。
• フレームレベルの類似度関数（例：FES）にアクショングラフ埋め込みを組み合わせることで、全体フレームの類似度を上回る参照解釈性能を向上させる。
• 動画と字幕の間の時間的アライメント（Z）を弱い監督信号として活用し、ノイズを低減し、モデルの一般化性能を向上させる。
• 参照アノテーションのない2,000本以上の非構造的調理動画を用いて、教師なしでエンドツーエンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 視覚的および言語的曖昧性が存在する中で、非教師ありの視覚的・言語的モデルが、指示動画における動作とエンティティ間の参照を効果的に解釈できるか。
• RQ2 視覚的および言語的信号を統合的にモデル化することで、単一モodalなアプローチと比較して、参照解釈性能がどの程度向上するか。
• RQ3 参照を解釈することで、非構造的な動画字幕とその対応する動画セグメント間のアライメントがどの程度向上するか。
• RQ4 提案されたグラフベースの最適化フレームワークが、現実世界の指示動画における状態変化や参照表現のシフトを処理できるか。

主な発見

• 提案された非教師ありの統合的視覚的・言語的モデルは、指示動画における参照解釈において、最先端の言語のみのモデルと比較して、精度と再現率の両方で9%向上した。
• モデルは単一モダリティのベースラインを顕著に上回った：視覚のみのモデルは言語的正則化が欠如しているため失敗するが、言語のみのモデルは視覚的曖昧性に対処できない。
• アクショングラフ埋め込みは、フレーム類似度ベースの手法（FES）と比較して、参照解釈を10%向上させ、状態変化に伴う微細なエンティティ追跡をより効果的に可能にした。
• 時間的アライメント（Z）を用いた統合最適化により、視覚的監督のノイズが低減され、参照解釈および動画・字幕アライメントの両方の性能が向上した。
• 参照の解釈により動画・音声アライメントが向上した：標準的な文埋め込み手法と比較して、F1およびIOUスコアが向上し、特に「それ」のような曖昧な代名詞に対して顕著だった。
• 定性的な結果から、モデルは「材料の混合物」としての「ミックス」や、「変化したエンティティ」としての「ドレッシング」のような参照を、視覚的および言語的シフトが著しい状況でも正しく解釈できた。