[論文レビュー] EgoDistill: Egocentric Head Motion Distillation for Efficient Video Understanding

Shuhan Tan, Tushar Nagarajan+1 more|arXiv (Cornell University)|Jan 5, 2023

Human Pose and Action Recognition被引用数 6

ひとこと要約

EgoDistill は、1枚のRGBフレームと軽量なIMUの頭部運動データのみを用いて、高コストなエゴセントリック動画クリップ特徴量を再構築する知識蒸留フレームワークを提案する。ベースラインモデルと比較して200倍少ないGFLOPsを達成しながら、Ego4DおよびEPIC-Kitchensの最先端な効率的動画理解手法を上回る性能を発揮する。

ABSTRACT

Recent advances in egocentric video understanding models are promising, but their heavy computational expense is a barrier for many real-world applications. To address this challenge, we propose EgoDistill, a distillation-based approach that learns to reconstruct heavy egocentric video clip features by combining the semantics from a sparse set of video frames with the head motion from lightweight IMU readings. We further devise a novel self-supervised training strategy for IMU feature learning. Our method leads to significant improvements in efficiency, requiring 200x fewer GFLOPs than equivalent video models. We demonstrate its effectiveness on the Ego4D and EPICKitchens datasets, where our method outperforms state-of-the-art efficient video understanding methods.

研究の動機と目的

• 最先端のエゴセントリック動画理解モデルの高い計算コストが、リソース制限のあるAR/VRデバイスへの展開を制限する問題に対処すること。
• IMUからの頭部運動信号が、動画フレームの密集したダイナミクスの代理として機能し、モデルの推論コストを低減できるかどうかを検討すること。
• 重い動画モデルから得られる完全な動画クリップ特徴量を、IMUとスパースな視覚フレームを活用して再構築する、蒸留に基づく手法を開発すること。
• 下流の動画理解性能を向上させるために、IMU特徴の学習を向上させる新規な自己教師付き事前学習戦略を導入すること。
• 従来の動画フレームの適応的サンプリング手法と比較して、より優れた精度-効率トレードオフを達成すること。

提案手法

• 強力な教師動画モデルからの知識蒸留を用いて、1枚のRGBフレームと時間的にスパースなIMU読み取り値から、密度の高い動画クリップ特徴量を再構築する軽量な学生モデルを訓練する。
• 蒸留の前段階で、IMU特徴の表現品質を向上させるために、新規な自己教師付き事前学習ステージを導入する。
• 視覚的意味情報（スパースフレームから）と運動ダイナミクス（IMUから）の両方を条件として蒸留プロセスを設計し、外観と運動の両方の情報を保持する。
• 対照的損失を用いた知識蒸留を実施し、学生モデルの出力特徴量を教師モデルの密度の高いクリップレベル表現と一致させる。
• エンドツーエンドで微分可能で効率的な学生モデルを設計し、リソース制限のあるデバイスでもリアルタイム推論を可能にする。
• IMUデータを融合モダリティとしてではなく、最小限の視覚入力からの運動に敏感な動画特徴量の再構築を可能にする動的信号として活用する。

Figure 1 : Illustration of EgoDistill. Given a single video frame and camera motion from IMU, EgoDistill learns to reconstruct the more expensive dense video clip feature. With its lightweight input, EgoDistill significantly improves efficiency.

実験結果

リサーチクエスチョン

• RQ1 IMUデータは、複雑なエゴセントリック動画特徴量の再構築において、密度の高い動画フレームの代替として効果的に機能するか？
• RQ2 スパースな視覚フレームとIMU信号を組み合わせることで、視覚フレーム単体を使用する場合よりも優れた動画特徴量再構築が達成できるか？
• RQ3 IMU用の自己教師付き事前学習戦略が、蒸留ベースの動画理解モデルの性能向上に寄与するか？
• RQ4 EgoDistillは、最先端の効率的動画モデルと比較して、計算コストをどの程度低減しながらも、精度を維持または向上できるか？
• RQ5 どのような種類のエゴセントリック行動において、IMUベースの蒸留が最も高い性能向上をもたらすか？

主な発見

• EgoDistill は、元の MotionFormer モデルと比較して推論時のGFLOPsを200倍削減し、200倍の効率性を達成した。
• 50分間のエゴセントリック動画に対して、EgoDistill は推論時間を25分から36秒に短縮し、リアルタイム処理の実現を示した。
• EPIC-Kitchensでは、STTSと比較して4.4%高い精度を達成した一方で、6.5倍速く動作し、最先端の適応的サンプリング手法を上回った。
• 「close」のような曖昧な行動では20.3%、"put"では10.4%の行動認識精度向上を達成し、IMUを活用することでシーンの運動を解釈可能にした。
• 予測可能な頭部運動を伴う行動（例："cut"、"close"）では最も高い性能を発揮し、最小の運動または相関のない頭部運動を伴う行動（例："press"、"fill"）では性能が劣った。
• 定性的な結果から、EgoDistill はIMUに条件付けられた明確で運動に敏感な特徴量を生成しており、視覚フレームのみを用いるモデルとは異なり、一貫したカメラ運動を持つクリップの検索が可能であることが示された。

Figure 2 : EgoDistill architecture. Left: Self-supervised IMU feature learning. Given start and end frames of a clip, we train the IMU encoder to anticipate visual changes. Right: Video feature distillation with IMU. Given image frame(s) and IMU, along with our pre-trained IMU encoder, our method tr