[論文レビュー] EgoEnv: Human-centric environment representations from egocentric video

Tushar Nagarajan, Santhosh Kumar Ramakrishnan+3 more|arXiv (Cornell University)|Jul 22, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文では、エゴセントリック動画から人間中心の環境表現を学習するEgoEnvを提案する。シミュレーテッド動画データを用いて、トランスフォーマーに基づくモデルを、カメラ装着者を取り巻く局所的な3Dレイアウトを予測するように訓練する。合成データのみで訓練されているにもかかわらず、EgoEnvは現実世界のエゴセントリック動画タスクにおいて顕著な性能向上を達成し、Ego4D NLQチャレンジで最先端の結果を達成するとともに、未確認の環境における部屋分類および言語ベースのグラウンディングタスクでもベースラインを上回った。

ABSTRACT

First-person video highlights a camera-wearer's activities in the context of their persistent environment. However, current video understanding approaches reason over visual features from short video clips that are detached from the underlying physical space and capture only what is immediately visible. To facilitate human-centric environment understanding, we present an approach that links egocentric video and the environment by learning representations that are predictive of the camera-wearer's (potentially unseen) local surroundings. We train such models using videos from agents in simulated 3D environments where the environment is fully observable, and test them on human-captured real-world videos from unseen environments. On two human-centric video tasks, we show that models equipped with our environment-aware features consistently outperform their counterparts with traditional clip features. Moreover, despite being trained exclusively on simulated videos, our approach successfully handles real-world videos from HouseTours and Ego4D, and achieves state-of-the-art results on the Ego4D NLQ challenge. Project page: https://vision.cs.utexas.edu/projects/ego-env/

研究の動機と目的

• カメラ装着者の持続的で物理的な文脈をモデル化することで、エゴセントリック動画における人間中心の環境理解の欠如に対処する。
• クリップベースの動画モデルが一時的な視覚的外観しか捉えられないという制限を克服し、空間的根拠を持つ環境理解を実現する。
• 環境に適応した特徴を用いて、人間の行動とその周囲の物理的環境を同時に推論できるモデルを実現する。
• シミュレーテッドエゴセントリック動画で学習し、HouseTours や Ego4D のような現実世界のエゴセントリックデータセットに一般化することで、シミュレーションから現実へのギャップを埋める。
• 既存の動画モデルに長距離の環境的文脈を追加するためのドロップイン型特徴表現（EgoEnv）を開発し、アーキテクチャの大幅な見直しを不要とする。

提案手法

• 各タイムステップにおけるカメラ装着者からの相対的位置（前、左、右、後ろ）に応じた可視オブジェクトの集合として、局所的環境状態を定義する。
• HM3Dを用いたシミュレーテッド3D環境を走行するエージェントの動画クリップを用いて、視覚変換器エンコーダーを訓練し、この局所的環境状態を予測させる。
• 時間窓（W）のフレームをサンプリングし、文脈に適した環境メモリ（Kフレーム）を構築するメモリ機構を導入することで、長時間にわたる推論を可能にする。
• オブジェクト検出と距離予測を統合したマルチタスク損失を最適化することで、環境の意味的および幾何的側面を同時に監視する。
• 訓練済みモデルを現実世界のエゴセントリック動画に適用し、環境的文脈を符号化するEgoEnv特徴を抽出する。得られた特徴は、後続タスクのための標準的なクリップ特徴と融合される。
• トランスフォーマーのデコーダー内でのアテンションメカニズムを活用し、非隣接で空間的に分散した視点に注目することで、カメラ装着者の周囲のレイアウトを再構築する様子を可視化する。

実験結果

リサーチクエスチョン

• RQ1 合成データでのみ学習されたにもかかわらず、エゴセントリック動画から人間中心の環境表現を学習し、多様な現実世界の環境に一般化できるか？
• RQ2 提案された局所的環境状態予測タスクは、標準的なクリップレベル特徴と比較して、エゴセントリック動画理解の性能をどの程度向上させるか？
• RQ3 モデルが広範な物理的文脈を推論できることで、行動と環境を統合的に理解する必要があるタスクでの性能はどの程度向上するか？
• RQ4 窓サイズ、メモリサイズ、損失重みといったハイパーパrameterが、現実世界データにおけるモデルの一般化性と頑健性に与える影響はどの程度か？
• RQ5 モデルは非連続で空間的に分散した視点に注目でき、カメラ装着者の環境を再構築できるか？これは、効果的な長距離空間的推論が実現されていることを示唆する。

主な発見

• EgoEnvはEgo4D NLQチャレンジで最先端の性能を達成し、以前の手法と顕著な差を示した。
• RoomPredタスクでは、HouseToursで62.68%、Ego4Dで51.07%の正確度を達成し、事前学習済み視覚特徴を用いたすべてのベースラインを上回った。
• モデルはシミュレーションから現実世界への一般化が強く、環境的文脈が重要となる難しいインスタンスにおいても一貫した向上を示した。
• アブレーションスタディの結果、NLQのような長時間にわたる推論タスクにおいて、窓サイズ256とメモリサイズ64が最適な性能をもたらすことが判明した。
• 最適な損失重み（λ=0.1）は意味的および幾何的監視のバランスを最適化し、オブジェクト検出および距離予測の誤差に対して頑健性を向上させた。
• アテンション可視化により、モデルが空間的に分散し非隣接な視点に注目していることが確認され、効果的な環境メモリ構築が実現していることが示された。