[論文レビュー] Learning and Verification of Task Structure in Instructional Videos

Medhini Narasimhan, Licheng Yu+3 more|arXiv (Cornell University)|Mar 23, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、動画全体のタスク文脈を用いてステップをマスキング・予測することで、指示動画における文脈的なステップ表現を学習するVideoTaskformerを紹介する。このモデルは、特に誤り検出および長期予測タスクで最先端の性能を達成し、動画内のタスク構造理解の評価のための3つの新しいベンチマークを導入している。

ABSTRACT

Given the enormous number of instructional videos available online, learning a diverse array of multi-step task models from videos is an appealing goal. We introduce a new pre-trained video model, VideoTaskformer, focused on representing the semantics and structure of instructional videos. We pre-train VideoTaskformer using a simple and effective objective: predicting weakly supervised textual labels for steps that are randomly masked out from an instructional video (masked step modeling). Compared to prior work which learns step representations locally, our approach involves learning them globally, leveraging video of the entire surrounding task as context. From these learned representations, we can verify if an unseen video correctly executes a given task, as well as forecast which steps are likely to be taken after a given step. We introduce two new benchmarks for detecting mistakes in instructional videos, to verify if there is an anomalous step and if steps are executed in the right order. We also introduce a long-term forecasting benchmark, where the goal is to predict long-range future steps from a given step. Our method outperforms previous baselines on these tasks, and we believe the tasks will be a valuable way for the community to measure the quality of step representations. Additionally, we evaluate VideoTaskformer on 3 existing benchmarks -- procedural activity recognition, step classification, and step forecasting -- and demonstrate on each that our method outperforms existing baselines and achieves new state-of-the-art performance.

研究の動機と目的

• 局所的なクリップレベルの意味ではなく、全体のタスク構造を捉えるように、指示動画におけるステップ表現を学習すること。
• 動画がタスクを正しく実行しているかどうかを検証できること、特に誤ったステップや誤ったステップ順序の検出を可能にすること。
• 与えられた時点から長期的な未来のステップを予測することにより、従来の短期的予測手法を改善すること。
• 指示動画におけるステップ表現の質を評価するための新しいベンチマークを導入すること。
• グローバルな文脈に配慮した表現が、複数の下流タスクにおいて局所的でクリップに依存しない手法を上回ることを示すこと。

提案手法

• 動画内のランダムなステップをマスキングし、残りのステップの視覚的特徴からそのラベルを予測する、マスキングステップモデリング目的関数を用いてVideoTaskformerを事前学習する。
• すべてのステップを一度に統合的にエンコードできるトランスフォーマーに基づくアーキテクチャを用い、タスク全体にわたる文脈的理解を可能にする。
• 事前学習済みモデル（例：TimeSformer, S3D）からの動画特徴を活用し、下流タスクでエンドツーエンドでネットワーク全体を微調整する。
• 「天井ファンを取り付ける」など、タスクラベル（例：'Install a Ceiling Fan'）を入力埋め込みに組み込むことで、誤り検出や長期予測といった困難なタスクでの性能向上を図る。
• 表現の転移性を評価するために、線形プローブとフル微調整の両設定を評価する。
• COINデータセットからステップを類似したものに置き換えたり、ステップの順序を再編集することで、誤り検出データセットを合成する。

Figure 1: Prior work [ 13 , 12 ] learns step representations from single short video clips, independent of the task, thus lacking knowledge of task structure. Our model, VideoTaskformer, learns step representations for masked video steps through the global context of all surrounding steps in the vid

実験結果

リサーチクエスチョン

• RQ1 グローバルな動画文脈を用いたステップのマスキングモデリングは、局所的なクリップレベルモデリングと比較して、指示動画におけるステップ表現学習を改善できるか？
• RQ2 学習された表現は、指示動画における誤ったステップと誤ったステップ順序の両方を検出できるか？
• RQ3 与えられたステップから長期的な未来のステップをどれほど正確に予測できるか？
• RQ4 タスクレベルのラベルを組み込むことで、誤り検出や予測といった下流タスクでの性能が向上するか？
• RQ5 これらの表現は、プロシージャルアクティビティ認識、ステップ分類、ステップ予測といった既存のベンチマークへどの程度転送可能か？

主な発見

• VideoTaskformerは、長期予測タスクで最良のベースラインに対して5%の向上を達成し、遠く離れた未来のステップへの一般化性能が優れていることを示している。
• 誤ったステップ検出で4%、誤った順序検出で4%の向上を達成し、これらの新規ベンチマークにおいて従来手法を上回っている。
• プロシージャルアクティビティ認識タスクでは、最良の既存ベースラインに対して1%の向上を達成しており、分布マッチング損失がわずかにステップ分類損失を上回っている。
• 線形プローブ評価では競争力ある性能を示しており、事前学習済み表現が下流タスクへ非常に高い転送性を持っていることが示唆されている。
• タスクラベルを組み込むことで、3つの新ベンチマークすべてで性能が向上し、高レベルのタスク文脈の価値が顕著に表れている。
• 定性的な結果から、VideoTaskformerは誤ったステップを正しく特定し、正解と一致する未来のステップを予測している一方で、ベースラインのLwDSは複雑な構造的推論において失敗していることが確認された。

Figure 2: VideoTaskformer Pre-training (Left). VideoTaskformer $f_{\text{VT}}$ learns step representations for the masked out video clip $v_{i}$ , while attending to the other clips in the video. It consists of a video encoder $f_{\text{vid}}$ , a step transformer $f_{\text{trans}}$ , and a linear l