[論文レビュー] How to Make a BLT Sandwich? Learning to Reason towards Understanding Web Instructional Videos

Shaojie Wang, Wentian Zhao+2 more|arXiv (Cornell University)|Dec 2, 2018

Multimodal Machine Learning Applications参考文献 23被引用数 5

ひとこと要約

本稿では、教育的動画向けの推論指向QAデータセットであるYouQuekを紹介し、時間的順序と関係的構造を統合する新たな再帰的グラフ畳み込みネットワーク（RGCN）を提案する。RGCNはQAタスクで最先端の性能を達成し、説明文の統合が精度を顕著に向上させる一方、低品質で情報が疎なトランスクリプトは性能を低下させる。

ABSTRACT

Understanding web instructional videos is an essential branch of video understanding in two aspects. First, most existing video methods focus on short-term actions for a-few-second-long video clips; these methods are not directly applicable to long videos. Second, unlike unconstrained long videos, e.g., movies, instructional videos are more structured in that they have step-by-step procedure constraining the understanding task. In this paper, we study reasoning on instructional videos via question-answering (QA). Surprisingly, it has not been an emphasis in the video community despite its rich applications. We thereby introduce YouQuek, an annotated QA dataset for instructional videos based on the recent YouCook2. The questions in YouQuek are not limited to cues on one frame but related to logical reasoning in the temporal dimension. Observing the lack of effective representations for modeling long videos, we propose a set of carefully designed models including a novel Recurrent Graph Convolutional Network (RGCN) that captures both temporal order and relation information. Furthermore, we study multiple modalities including description and transcripts for the purpose of boosting video understanding. Extensive experiments on YouQuek suggest that RGCN performs the best in terms of QA accuracy and a better performance is gained by introducing human annotated description.

研究の動機と目的

• 教育的動画理解における推論指向データセットの不足に対処すること。
• フレームレベル認識を越えた高次推論（時間的、因果的、相関的推論を含む）が可能なモデルの開発。
• 特に人間がアノテートした説明文を含むマルチモーダル入力の有効性を調査し、動画QAの性能向上に寄与するかを検証すること。
• 機械の性能を教育的動画理解における人間の推論能力と比較してベンチマークすること。
• グラフベースと順序付きモデリングを統合することで、長時間の教育的動画における推論性能を向上させること。

提案手法

• YouCook2データセットから15,355組のQAペアをアノテートし、数え上げ、順序付け、比較、性質の変化といった推論タイプをカバーする。
• RNNを用いて時間的順序をモデル化すると同時に、グラフを用いて関係的依存関係をモデル化する再帰的グラフ畳み込みネットワーク（RGCN）を設計し、ノード間でのメッセージパッシングを実現しながらも、順序構造を保持する。
• 関連する動画セグメントや推論ステップに注目できるように、注目メカニズム（RGCN-SA）を統合して特徴表現を強化する。
• 視覚的特徴に加え、人間がアノテートした説明文と自動生成されたトランスクリプトというマルチモーダル入力を、時間的境界に一致させることで統合する。
• グラフストリームとRNNストリームが相互に情報を交換することで、相互に推論性能を向上させる二重パスアーキテクチャを採用する。
• アブレーションスタディおよびマルチモーダル実験を実施し、各モダリティおよびモデル部品の寄与度を評価する。

実験結果

リサーチクエスチョン

• RQ1 推論指向のQAデータセットは、教育的動画における高次動画理解の評価を改善できるか？
• RQ2 再帰的グラフ畳み込みネットワーク（RGCN）は、教育的動画における時間的順序と関係的構造の両方を効果的にモデル化できるか？
• RQ3 生のトランスクリプトや視覚的特徴のみと比較して、人間がアノテートした説明文は、動画QAの精度をどの程度向上させるか？
• RQ4 特に説明文を含むマルチモーダル入力は、機械と人間の動画推論タスクにおける性能格差を埋めるのに有効か？
• RQ5 自動生成されたトランスクリプトはテキスト入力であるにもかかわらず、なぜ性能を低下させるのか？

主な発見

• RGCNモデルは、注目メカニズムを搭載していない状態でも、テストされたすべてのモデルの中で最高の全体的なQA精度を達成した。
• 注目メカニズムを強化したRGCN-SAは、複数選択およびK-Space評価指標の両方で最良の性能を示した。
• 人間がアノテートした説明文を視覚的特徴と組み合わせると、顕著な精度向上が見られたが、トランスクリプトは低品質および情報密度の低さのため性能を低下させた。
• 視覚的入力がなくても、人間はQAタスクで52.8%の精度を達成しており、特に「いつ」や「味」に関する質問では、一般的な常識や生活経験に強く依存していることが示された。
• 視覚的特徴と説明文の組み合わせが、すべてのモデルアーキテクチャで最高の精度を達成した。これは、洗練された人間によるナラティブの価値を示している。
• RGCN-SAは「数える」質問において人間の性能を上回った。これは、適切に訓練された場合、機械が特定の推論タイプにおいて人間を凌駆する可能性があることを示唆している。