[論文レビュー] Multimodal Subtask Graph Generation from Instructional Videos

Yunseok Jang, Sungryull Sohn+4 more|arXiv (Cornell University)|Feb 17, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、視覚的および言語的信号を統合して欠落したサブタスクを推定し、因果的依存関係をモデル化することで、ノイズの多い誘導動画からサブタスクグラフを生成するマルチモーダル手法MSG²を提案する。次タスク予測において、SOTAの動画トランスフォーマーモデルをそれぞれProceLおよびCrossTaskデータセットで85%および30%上回る優れた性能を達成している。

ABSTRACT

Real-world tasks consist of multiple inter-dependent subtasks (e.g., a dirty pan needs to be washed before it can be used for cooking). In this work, we aim to model the causal dependencies between such subtasks from instructional videos describing the task. This is a challenging problem since complete information about the world is often inaccessible from videos, which demands robust learning mechanisms to understand the causal structure of events. We present Multimodal Subtask Graph Generation (MSG2), an approach that constructs a Subtask Graph defining the dependency between a task's subtasks relevant to a task from noisy web videos. Graphs generated by our multimodal approach are closer to human-annotated graphs compared to prior approaches. MSG2 further performs the downstream task of next subtask prediction 85% and 30% more accurately than recent video transformer models in the ProceL and CrossTask datasets, respectively.

研究の動機と目的

• 複数のノイズの多い誘導動画から、現実世界のタスクにおけるサブタスク間の因果的依存関係をモデル化すること。
• 欠落、再配置、部分的アノテーション付きのWeb動画におけるデータノイズに対処するため、マルチモーダル推論を用いること。
• 従来の手法と比較して、AND条件などの複雑な依存関係を捉えることができるより表現力のあるサブタスクグラフ表現を生成すること。
• 推論されたサブタスクグラフ構造を活用して、特に次タスク予測のような下流タスクの性能を向上させること。
• 多様な動画デモンストレーションに一般化可能で、不完全または一貫性のないアノテーションに対しても耐性を持つフレームワークの開発

提案手法

• 動画フレームと自動音声認識（ASR）で生成されたテキストを用いて、各サブタスクの進行状態をマルチモーダルなサブタスク状態予測により推定する。
• 不完全でノイズの多いサブタスクシーケンスからサブタスク依存関係を推定するために、複雑さ制約付きの帰納的論理プログラミング（ILP）手法を適用する。
• ANDノードなどの表現力のあるノードを用いて、複数の事前条件や複雑な依存関係をモデル化するサブタスクグラフを構築する。
• 同じタスクの複数の動画インスタンスを活用して情報を統合し、データノイズに対する耐性を高める。
• 視覚的および言語的信号を統合して、アノテーションに存在しないサブタスク（省略またはアノテートされていないステップ）を回復する。
• 2段階パイプラインを採用する：まず各動画ごとのサブタスク状態を予測し、次に集約された予測から統一されたサブタスクグラフを生成する。

実験結果

リサーチクエスチョン

• RQ1 複数のノイズの多い不完全な誘導動画から、どのようにして因果的サブタスク依存関係を頑健に推定できるか？
• RQ2 アノテーションエラーが存在する状況下で、視覚的および言語的信号のマルチモーダル統合が、サブタスク回復およびグラフ構造予測にどの程度向上効果をもたらすか？
• RQ3 複雑さ正則化付きILPアプローチは、ノイズが多く不完全なサブタスクシーケンスから正確なサブタスクグラフを効果的に生成できるか？
• RQ4 エンドツーエンドの動画モデリングと比較して、生成されたサブタスクグラフは次タスク予測のような下流タスクにどの程度寄与するか？
• RQ5 複数の動画デモンストレーションを用いることで、サブタスクグラフ生成の頑健性および正確性にどのような影響があるか？

主な発見

• MSG²は、従来手法と比較して人間アノテーションのグラフにはるかに近いサブタスクグラフを生成しており、構造的正確性の向上が示された。
• ProceLデータセットでは、最近の動画トランスフォーマーモデルを85%上回る次タスク予測の正確性を達成した。
• CrossTaskデータセットでは、SOTAの動画トランスフォーマーと比較して、次タスク予測の正確性が30%向上した。
• マルチモーダルなサブタスク状態予測モジュールは、アノテーションに存在しないサブタスクを効果的に回復し、グラフの完全性を向上させた。
• 複雑さ制約付きILPアプローチは、ノイズが多く不完全なデータに対しても効果的に対処し、より信頼性が高く解釈可能なサブタスクグラフを生成した。
• 2段階設計（サブタスク状態予測 → グラフ生成）により、エンドツーエンドの代替手法よりも優れた一般化性能と性能が達成された。