[論文レビュー] Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos

Yanghao Li, Tushar Nagarajan+2 more|arXiv (Cornell University)|Apr 16, 2021

Human Pose and Action Recognition参考文献 72被引用数 5

ひとこと要約

本論文は、エゴセントリック動画の特徴を学習するための新しい手法Ego-Exoを提案する。この手法は、大規模な第三者視点動画データセットを用いて、手と物体の接触やエゴセントリック性といったエゴセントリック特有の信号を、事前学習段階で動画バックボーンに知識蒸留することで、エゴセントリック動画モデルの事前学習を可能にする。このアプローチにより、ペア化されたエゴセントリックデータや追加モダリティを必要としないにもかかわらず、Charades-Ego（+3.26 mAP）およびEPIC-Kitchens-100で最先端の性能を達成した。

ABSTRACT

We introduce an approach for pre-training egocentric video models using large-scale third-person video datasets. Learning from purely egocentric data is limited by low dataset scale and diversity, while using purely exocentric (third-person) data introduces a large domain mismatch. Our idea is to discover latent signals in third-person video that are predictive of key egocentric-specific properties. Incorporating these signals as knowledge distillation losses during pre-training results in models that benefit from both the scale and diversity of third-person video data, as well as representations that capture salient egocentric properties. Our experiments show that our Ego-Exo framework can be seamlessly integrated into standard video models; it outperforms all baselines when fine-tuned for egocentric activity recognition, achieving state-of-the-art results on Charades-Ego and EPIC-Kitchens-100.

研究の動機と目的

• 第三者視点とエゴセントリック動画理解の間のドメインギャップに対処すること。既存の第三者視点データにおける事前学習手法は、視点や注目領域の違いにより、エゴセントリック動画では性能を発揮しない。
• Kineticsなどの大規模な第三者視点動画データセットのスケールと多様性を活用しながら、学習された特徴にエゴセントリック特有の性質を埋め込むこと。
• ペア化されたエゴセントリック・第三者視点データや音声などの追加モダリティを必要としない事前学習フレームワークを構築すること。
• 標準的な動画モデルが、エゴセントリックに適応した蒸留損失を事前学習段階で組み込むことで、エゴセントリックタスクに即座に適用可能な強力な代替手段として機能できること。

提案手法

• 第三者視点動画の事前学習中に、エゴセントリック特徴を推論可能な未ラベル付きのエゴセントリックキューを用いて、補助的な知識蒸留損失を導入する。
• 主な蒸留タスクには、操作された物体の予測、スパatiotemporalな手と物体の接触領域の局在化、一般的なエゴセントリック性の推定が含まれる。
• これらのタスクは、エゴセントリックアノテーションやペアデータを一切必要とせず、第三者視点動画からの自己教師信号に基づいて学習される。
• 標準的なアクション分類の事前学習（Kinetics上で実施）と併せて、これらの損失を統合することで、エゴセントリック動画の特性に整合した特徴を学習できる。
• このフレームワークは、SlowFast や ResNet などの標準的な動画アーキテクチャと互換性があり、エゴセントリックタスクにスムーズに適用可能である。
• 蒸留プロセスにより、第三者視点データから学習された特徴が、手の注目や第一人称の運動パターンといったエゴセントリック特有のダイナミクスを捉えるようにガイドされる。

実験結果

リサーチクエスチョン

• RQ1 第三者視点動画データから、エゴセントリック特有の信号を潜在的に推論し、エゴセントリック動画理解のための事前学習を支援できるか？
• RQ2 エゴセントリック特有の性質を知識蒸留することで、ペアデータを一切使用しない状況でも、エゴセントリック行動認識の性能が向上するか？
• RQ3 エゴセントリック特有の蒸留損失を用いて第三者視点データで事前学習することで、標準的なKinetics事前学習に比べ、エゴセントリックベンチマークで優れた性能を発揮するか？
• RQ4 統一された事前学習フレームワークが、エゴセントリックデータセットで最先端の結果を達成できるか、かつ標準的な動画モデルと互換性を持つか？

主な発見

• Charades-Egoでは、標準的なKinetics事前学習に比べて+3.26 mAPの向上を達成し、最先端の性能を記録した。
• EPIC-Kitchens-100では、Ego-Exo*-R101が、音声やオプティカルフローを用いた手法を含むすべての先行手法を上回り、見慣れないテストセットでも優れた性能を示した。
• EPIC-Kitchens S1では、Epic-Fusion（音声とRGBストリームを併用）よりも高いトップ-1正答率（66.19％）とトップ-5正答率（90.11％）を達成した。
• ペア化されたエゴセントリック・第三者視点データを必要とするドメイン適応や統合埋め込みベースライン（例：ActorObserverNet や SSDA）でさえも、Ego-Exoは上回った。
• SlowFastバックボーンを用いたEgo-Exo*は、Charades-Egoで37.04％のmAPを達成し、最も強力なベースラインを+3.26 mAP上回った。
• モデルは一般化性能に優れ、EPIC-Kitchensにおける見慣れないカテゴリに対しても一貫した向上を示しており、ドメインシフトに対して強い耐性を示した。