[論文レビュー] Learning State-Aware Visual Representations from Audible Interactions

Himangi Mittal, Pedro Morgado+2 more|arXiv (Cornell University)|Sep 27, 2022

Human Pose and Action Recognition被引用数 14

ひとこと要約

本論文は、未編集のエゴセントリック動画から対話の瞬間を特定し、状態に敏感な視覚的表現を学習するために音声を活用する自己教師あり手法RepLAIを提案する。音声に基づく瞬間検出と、新たな音声視覚的状態変化目的関数を組み合わせることで、RepLAIは行動認識、長期予測、物体の状態変化分類の性能を向上させ、Ego4Dでは教師ありベースラインを上回り、長尾分布に対しても優れた一般化性能を示す。

ABSTRACT

We propose a self-supervised algorithm to learn representations from egocentric video data. Recently, significant efforts have been made to capture humans interacting with their own environments as they go about their daily activities. In result, several large egocentric datasets of interaction-rich multi-modal data have emerged. However, learning representations from videos can be challenging. First, given the uncurated nature of long-form continuous videos, learning effective representations require focusing on moments in time when interactions take place. Second, visual representations of daily activities should be sensitive to changes in the state of the environment. However, current successful multi-modal learning frameworks encourage representation invariance over time. To address these challenges, we leverage audio signals to identify moments of likely interactions which are conducive to better learning. We also propose a novel self-supervised objective that learns from audible state changes caused by interactions. We validate these contributions extensively on two large-scale egocentric datasets, EPIC-Kitchens-100 and the recently released Ego4D, and show improvements on several downstream tasks, including action recognition, long-term action anticipation, and object state change classification.

研究の動機と目的

• 対話が断続的かつ整理されていない未編集のエゴセントリック動画から、効果的な視覚的表現を学ぶ課題に対処すること。
• 環境の状態変化に敏感であるように学習するが、既存の自己教師あり手法は変化に敏感でない不変表現を学習するという限界を克服すること。
• 音声信号を、瞬間検出のためのものにとどまらず、視覚的状態遷移に敏感な表現を学習するための監視信号としても活用すること。
• エゴセントリック動画設定における行動認識、長期行動予測、物体の状態変化分類の下流タスクの性能を向上させること。

提案手法

• 未編集のエゴセントリック動画における対話の瞬間（MoI）を特定するために、手作業で作成されたスペクトログラムベースの検出器を用い、訓練をこれらの顕著なセグメントに集中させる。
• 視覚的状態変化を時間的に予測できる音声表現を促進する、新しい音声視覚自己教師あり目的関数AStCを導入する。
• AStC目的関数を標準的な音声視覚対照的（AVC）損失と組み合わせ、音声視覚的に整合し、かつ状態に敏感な表現を同時に学習する。
• インスタンス識別を用いて視覚的・音声的特徴を投影・対照する二ストリーム対照的学習フレームワークを採用し、MoIに従ったサンプリングを実施する。
• MoIでフィルタリングされたクリップを用いて、大規模なエゴセントリックデータセット（EPIC-Kitchens-100およびEgo4D）で事前学習し、表現品質を向上させる。
• t-SNE可視化を用いて、RepLAIがベースライン手法よりも明確に分離された、状態に敏感な表現を学習していることを示す。

実験結果

リサーチクエスチョン

• RQ1 未編集のエゴセントリック動画において、音声信号を用いて対話の瞬間を効果的に検出することで、自己教師あり表現学習の性能が向上するか？
• RQ2 音声視覚的状態変化をモデル化する自己教師あり目的関数は、標準的な対照的目的関数よりも情報量の多い視覚的表現を生成できるか？
• RQ3 提案手法は、エゴセントリック動画ベンチマークにおける長尾分布および未観測参加者に対して、ベースラインよりも優れた一般化性能を示すか？
• RQ4 提案手法の各構成要素（MoI検出とAStC目的関数）は、全体の性能にどのように寄与しているか？

主な発見

• RepLAIは、EPIC-Kitchens-100およびEgo4Dデータセットにおいて、行動認識、長期行動予測、物体の状態変化分類の各タスクでSOTA性能を達成した。
• アブレーションスタディの結果、MoI検出とAStC目的関数は両方とも重要で補完的であり、それぞれが性能向上に顕著な貢献をしていることが示された。
• RepLAIは未観測参加者への一般化性能が優れており、ゼロショット評価でもベースラインを上回った。これは、強固で転送可能な表現を学習していることを示している。
• EPIC-Kitchens-100の長尾語彙（動詞・名詞）クラスにおいて、RepLAIはすべてのベースラインを上回り、クラス不均衡への耐性が向上した。
• t-SNE可視化により、RepLAIがAVIDや他のベースラインと比較して、より明確に分離された、状態に敏感な表現を学習していることが確認された。
• Ego4Dでは、完全に教師あり手法と競合する性能を示した。これは、より大規模で多様なデータを用いた自己教師あり学習が、教師あり性能に近づける可能性を示している。