[論文レビュー] Multi-Task Learning of Object State Changes from Uncurated Videos

Tomáš Souček, Jean-Baptiste Alayrac+3 more|arXiv (Cornell University)|Nov 24, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、ノイズの多いビデオレベルの監督信号のみを用いて、長時間の未加工なウェブ動画において、オブジェクトの状態とその状態を変化させる行動を同時に局所化するマルチタスク自己教師あり学習フレームワークを提案する。クロスタスク制約とエンドツーエンドで訓練可能なアーキテクチャを活用することで、ChangeItデータセットにおいて先行の単一タスク手法よりも相対的に40%の性能向上を達成し、エゴセントリック動画に対しても強力なゼロショット一般化性能を示した。

ABSTRACT

We aim to learn to temporally localize object state changes and the corresponding state-modifying actions by observing people interacting with objects in long uncurated web videos. We introduce three principal contributions. First, we explore alternative multi-task network architectures and identify a model that enables efficient joint learning of multiple object states and actions such as pouring water and pouring coffee. Second, we design a multi-task self-supervised learning procedure that exploits different types of constraints between objects and state-modifying actions enabling end-to-end training of a model for temporal localization of object states and actions in videos from only noisy video-level supervision. Third, we report results on the large-scale ChangeIt and COIN datasets containing tens of thousands of long (un)curated web videos depicting various interactions such as hole drilling, cream whisking, or paper plane folding. We show that our multi-task model achieves a relative improvement of 40% over the prior single-task methods and significantly outperforms both image-based and video-based zero-shot models for this problem. We also test our method on long egocentric videos of the EPIC-KITCHENS and the Ego4D datasets in a zero-shot setup demonstrating the robustness of our learned model.

研究の動機と目的

• 長時間で未加工なウェブ動画から、人間による時系列境界のアノテーションが存在しない状態で、オブジェクトの状態変化とそれに対応する行動を学習する課題に対処すること。
• 例えば、異なる果物を切り刻むことや液体を注ぐことといった、関連する複数のインタラクションタスク間で表現を共有することで、効率的な共同学習を可能にすること。
• 時系列アノテーションが存在しない中で、オブジェクトの状態と行動の間の構造的制約を活用する自己教師あり学習手順を設計し、弱い監督信号からのエンドツーエンド学習を可能にすること。
• 第3者視点のウェブ動画で学習したモデルが、エゴセントリック動画データセット（EPIC-KITCHENS や Ego4D）に対してゼロショットでどれほど適応可能かを評価すること。

提案手法

• 本手法は、各ビデオクリップについてオブジェクトの状態（例：全体、スライス済み）と状態変更行動（例：カット、注ぐ）を同時に予測するマルチタスクニューラルネットワークアーキテクチャを採用する。
• 論理的制約（例：1つの動画に対しては1つの行動のみが予測され、オブジェクトが最終状態にある場合には行動が発生しないこと）を強制することで、偽ラベルのサンプリング戦略を導入し、学習信号を生成する。
• フレームレベルのアノテーションが一切不要で、検索クエリ（例：「パイナップルを切る方法」）から得られるビデオレベルのラベルのみを用いて、エンドツーエンドで学習を行う。
• 自己教師あり学習により、タスク間の一貫性を強制する：例えば、コーヒーを注ぐことと水を注ぐことの両方が、コップが空から満タンに変化することを学習する。
• バックボーンとして、1つの画像エンコーダー（例：Swin-T）をエンドツーエンドで微調整し、特徴量を固定する必要や、タスクごとに別々のモデルを用意する必要を回避する。
• 大規模データセット（ChangeIt や COIN）を用いてフレームワークを評価し、EPIC-KITCHENS や Ego4D でもゼロショットテストを実施する。

実験結果

リサーチクエスチョン

• RQ1 多様なオブジェクトの状態変化と行動の間で、効果的な情報共有を可能にするマルチタスクネットワークアーキテクチャは何か？
• RQ2 時系列アノテーションが存在しない状況で、オブジェクトの状態と行動の間の構造的制約を活用する自己教師あり学習は、どのように設計できるか？
• RQ3 ノイズが多く未加工なウェブ動画で学習したモデルは、エゴセントリック動画データセットにおいてゼロショット設定で効果的に一般化できるか？
• RQ4 長時間で未加工な動画に対して、単一タスクベースラインと比較して、共同マルチタスク学習は、正確性と頑健性の観点でどのように優れているか？

主な発見

• 提案されたマルチタスクモデルは、ChangeItデータセットにおいて、先行の単一タスク手法よりも相対的に40%の性能向上を達成し、状態の正確性が14ポイント、行動の正確性が12ポイント向上した。
• 同ベンチマークにおいて、画像ベースおよび動画ベースのゼロショットモデルよりも顕著に優れた性能を示し、自己教師あり学習による共同学習の利点を実証した。
• バックボーンのエンドツーエンド微調整は、たとえ1つの画像エンコーダーしか使わなくても、固定特徴量を用いる場合と比較して顕著な性能向上をもたらした。
• 第3者視点からエゴセントリック視点へのドメインシフトが存在する中でも、ゼロショット設定でエゴセントリック動画に対して頑健に一般化でき、EPIC-KITCHENS や Ego4D においても先行研究を上回る性能を示した。
• 定性的な結果から、モデルは関連する動画を正しく検索し、初期状態、行動中、終了状態を正しく局所化しており、異なる動画例間で一貫性を保っていることが確認された。
• モデルは関連性の低い動画（分類スコアが低いもの）を効果的にフィルタリングし、多様な動画クリップにおいて予測された状態の視覚的一致性を維持している。