[論文レビュー] Video-Mined Task Graphs for Keystep Recognition in Instructional Videos

Kumar Ashutosh, Santhosh Kumar Ramakrishnan+2 more|arXiv (Cornell University)|Jul 17, 2023

Human Pose and Action Recognition被引用数 10

ひとこと要約

本論文は、ラベルなしのHow-to動画から確率的なタスクグラフを自動的に発見し、それを新規動画のキーステップ認識を正則化するために用い、ゼロショット局在化と学習済み動画表現を改善する。複数の instructional-video ベンチマークで最先端の結果を達成する。

ABSTRACT

Procedural activity understanding requires perceiving human actions in terms of a broader task, where multiple keysteps are performed in sequence across a long video to reach a final goal state -- such as the steps of a recipe or a DIY fix-it task. Prior work largely treats keystep recognition in isolation of this broader structure, or else rigidly confines keysteps to align with a predefined sequential script. We propose discovering a task graph automatically from how-to videos to represent probabilistically how people tend to execute keysteps, and then leverage this graph to regularize keystep recognition in novel videos. On multiple datasets of real-world instructional videos, we show the impact: more reliable zero-shot keystep localization and improved video representation learning, exceeding the state of the art.

研究の動機と目的

• 長時間の指示動画内でキーステップのタスクレベル構造をモデル化することにより、手続き的活動理解を動機づける。
• ラベルなしのHow-to動画から確率的なタスクグラフを自動的にマイニングして、キーステップの依存関係と一般的な遷移を捉える。
• マイニングしたタスクグラフを事前知識として活用し、新規動画におけるキーステップ認識を正則化・改善する。
• HowTo100Mを含む下流タスクでのビデオ表現学習および大規模なビデオ表現学習に対するゼロショットキーステップ局在化の利点を示す。

提案手法

• WikiHow やタスク固有のデータセットなどのテキスト基盤から出典されたキーステップ語彙 K を定義する。
• クリップの特徴（視覚・語り）とキーステップ埋め込みとの類似度を測定して、ビデオクリップの予備的なキーステップ割り当てを生成する。
• ノードがキーステップ、有向エッジが確率的遷移を符号化するビデオ由来タスクグラフ T = (V,E,w) をデータから学習する。
• 新規動画に対して信頼度を計算してキーステップ予測を正則化し、必要に応じて信頼できるアンカー間の高確率キーステップ系列を推定するために T 上で PathSearch（Dijkstra ベース）を実行する。
• HowTo100M、COIN、CrossTask の下流タスク用に、偽ラベルをグラフ補正して生成したキーステップラベルを組み込み、より良いビデオ表現を訓練する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのHow-to動画からマイニングされた確率的なデータ駆動型タスクグラフは、多様なタスクにわたるキーステップ間の依存関係を効果的にエンコードできるか。
• RQ2 ビデオ由来のタスクグラフを事前知識として使用することは、テキストベースまたはビデオベースのベースラインと比較して、ゼロショットのキーステップ局在化を改善するか。
• RQ3 学習されたタスクグラフ誘導の表現学習は、標準ベンチマークにおけるタスク分類、キーステップ予測、キーステップ認識などの下流タスクを改善するか。

主な発見

• COINとCrossTaskにおけるゼロショットのキーステップ認識は、テキストのみ、動画のみ、動画-テキストのモダリティを横断する強力なベースラインを上回り、タスクグラフ事前知識を用いると顕著な改善を示す。
• CrossTaskにおけるタスクレベルのキーステップ認識は prior methods を大幅に上回り、例として Baselines が 24–25% のところ本手法は 30.5% の精度を達成（論文の Table 2 に基づく）。
• キーステップの局在化と IoU 指標は、グラフを用いたアプローチで向上し、Distant Supervision、VideoCLIP、Drop-DTW などのベースラインよりも予測キーステップと ground truth の整合性が高まることを示す。
• HowTo100M におけるグラフ補正偽ラベルを用いた事前学習は、タスク分類とキーステップ予測精度を向上させ、複数の設定で MIL-NCE、VideoCLIP、TSN のベースラインを上回る。