[論文レビュー] Bringing Image Scene Structure to Video via Frame-Clip Consistency of Object Tokens

Elad Ben-Avraham, Roei Herzig+6 more|arXiv (Cornell University)|Jun 13, 2022

Human Pose and Action Recognition被引用数 8

ひとこと要約

本論文は、少量のアノテート済み静止画から得られる構造的シーン情報を利用することで、動画理解を向上させる動画変換器フレームワーク、StructureViT (SViT) を提案する。学習可能なオブジェクトトークンとフレーム・クリップ整合性損失を導入することで、画像から動画へとハンドオブジェクトインタラクション構造（HAOG）を転送し、複数の動画ベンチマークで最先端の性能を達成した。特に、Ego4D Point of No Return チャレンジで1位を獲得した。

ABSTRACT

Recent action recognition models have achieved impressive results by integrating objects, their locations and interactions. However, obtaining dense structured annotations for each frame is tedious and time-consuming, making these methods expensive to train and less scalable. At the same time, if a small set of annotated images is available, either within or outside the domain of interest, how could we leverage these for a video downstream task? We propose a learning framework StructureViT (SViT for short), which demonstrates how utilizing the structure of a small number of images only available during training can improve a video model. SViT relies on two key insights. First, as both images and videos contain structured information, we enrich a transformer model with a set of \emph{object tokens} that can be used across images and videos. Second, the scene representations of individual frames in video should "align" with those of still images. This is achieved via a \emph{Frame-Clip Consistency} loss, which ensures the flow of structured information between images and videos. We explore a particular instantiation of scene structure, namely a \emph{Hand-Object Graph}, consisting of hands and objects with their locations as nodes, and physical relations of contact/no-contact as edges. SViT shows strong performance improvements on multiple video understanding tasks and datasets. Furthermore, it won in the Ego4D CVPR'22 Object State Localization challenge. For code and pretrained models, visit the project page at \url{https://eladb3.github.io/SViT/}

研究の動機と目的

• 少数の静止画からの構造的シーンアノテーションを活用することで、ビジョン変換器における動画理解を向上させること。
• 画像アノテーションと動画データの間のドメイン不一致の課題に取り組むこと、特にアノテーションが動画のカテゴリと一致しない場合に有効であるようにすること。
• 外部のオブジェクト検出器やアノテーションの整合性を必要とせず、静止画から動画へと知識を効果的に転送できることを実現すること。
• ハンドオブジェクトグラフのような構造的シーン表現が、画像と動画のモダリティ間で効果的に学習され、一般化できることを示すこと。
• 画像と動画入力におけるオブジェクト表現の一貫性を保証する訓練目的を設計し、モデルの一般化性能を向上させること。

提案手法

• 画像と動画の両方を処理する共有の動画および画像変換器アーキテクチャ内で、パッチトークンと併せて共同に学習可能なオブジェクトトークン（オブジェクトプロンプト）を導入する。
• ハンドオブジェクトグラフ（HAOG）を用いてシーン構造を表現し、ハンドとオブジェクトをノードとし、接触／非接触関係をエッジとする。
• フレーム・クリップ整合性損失を適用して、静止画と動画クリップ間のオブジェクトトークン表現を一致させ、構造的一致性を確保する。
• 画像入力を用いてHAOG上のオブジェクトプロンプトを監視し、動画入力を用いて下流の動画分類または局所化タスクを実行する形で、エンド・ツー・エンドにモデルを訓練する。
• MViTv2 などの共有変換器バックボーンを用い、画像と動画の両方を処理することで、クロスモダリティ知識転送を可能にする。
• オブジェクト検出器や画像と動画のオブジェクトカテゴリ間の整合性を必要とせず、ドメイン間でゼロショットまたはフェイシュート転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 少数のアノテート済み静止画から得られる構造的シーン表現が、ビジョン変換器における動画理解を向上させることができるか？
• RQ2 アノテート済みのオブジェクトカテゴリが一致しない状況下でも、オブジェクト中心の表現を画像と動画の両方で一貫して学習できるか？
• RQ3 どのような訓練目的が、画像から動画へのシーン構造の効果的転送を可能にするか？
• RQ4 HAOGに基づく構造的表現が、限られたドメイン内データを用いた動画理解タスクにおいて、どの程度性能を向上させるか？
• RQ5 画像アノテーションが動画データとは異なる分布からの場合でも、この手法がドメインを越えて一般化できるか？

主な発見

• SViTは、Something-Something V2 動作認識ベンチマークで最先端の性能を達成し、ベースラインの MViTv2 よりも正確性を 3.2% 向上させた。
• Ego4D CVPR’22 Point of No Return 時系列局所化チャレンジで1位を獲得し、長時間の動画理解において優れた一般化性能を示した。
• ドメイン内動画フレームのわずか 2% でのみ学習しても、依然として顕著な性能向上を示し、優れたサンプル効率性を示した。
• ドメインを越えた一般化も効果的に実現した。画像アノテーションが動画データとは異なるドメインからの場合でも、性能向上が観察された。
• フレーム・クリップ整合性損失は性能に不可欠であり、アブレーションスタディでは、この損失を削除すると正確性が 4.1% 減少した。
• 画像のHAOGアノテーション上で学習されたオブジェクトプロンプトは、動画へと効果的に転送され、追加の検出やグランドイングを必要とせずに、正確な動画レベルの予測が可能になった。