[論文レビュー] IMU2CLIP: Multimodal Contrastive Learning for IMU Motion Sensors from Egocentric Videos and Text

Seungwhan Moon, Andrea Madotto+5 more|arXiv (Cornell University)|Oct 26, 2022

Human Pose and Action Recognition被引用数 9

ひとこと要約

IMU2CLIPは、CLIPを模倣した共有表現空間にIMUモーションセンサデータ、エゴセントリックな動画、およびテキストナレーションを統合するマルチモーダル対照学習フレームワークを提案する。この手法は、アクティビティ認識の下流タスクにおける性能を著しく向上させるとともに、モーションベースのリtrieval やゼロショットマルチモーダル推論といった新たな応用を可能にし、微調整済みモデルではランダム初期化と比較して最大16ポイントの精度向上を達成する。

ABSTRACT

We present IMU2CLIP, a novel pre-training approach to align Inertial Measurement Unit (IMU) motion sensor recordings with video and text, by projecting them into the joint representation space of Contrastive Language-Image Pre-training (CLIP). The proposed approach allows IMU2CLIP to translate human motions (as measured by IMU sensors) into their corresponding textual descriptions and videos -- while preserving the transitivity across these modalities. We explore several new IMU-based applications that IMU2CLIP enables, such as motion-based media retrieval and natural language reasoning tasks with motion data. In addition, we show that IMU2CLIP can significantly improve the downstream performance when fine-tuned for each application (e.g. activity recognition), demonstrating the universal usage of IMU2CLIP as a new pre-trained resource. Our code will be made publicly available.

研究の動機と目的

• ウェアラブルアプリケーションにおける実用的導入を制限する、IMUセンサ信号のための大規模な事前学習モデルの不足に対処すること。
• 異種モダリティ間の普遍的表現空間を学習することで、IMUベースのタスクにおけるゼロショットおよびフェイントショットの転移学習を可能にすること。
• 動画に依存せずに、モーションベースのメディアリtrieval やマルチモーダル推論といった新たな応用の実現可能性を示すこと。
• 今後の研究のための、大規模かつ公開可能な事前学習済みIMUエンコーダーのリリース

提案手法

• CLIPベースのアーキテクチャを微調整し、IMU信号、エゴセントリックな動画クリップ、およびテキストナレーションを共通の対照的表現空間に統合して埋め込むこと。
• 正例と負例のペairを用いた対照損失により、IMU埋め込みと対応する動画およびテキスト埋め込みを整列させること。
• CLIPの事前学習済みビジョンおよびテキストエンコーダーを固定バックボーンとして利用し、IMUエンコーダーに意味的知識を転送すること。
• Ego4D や Aria といったエゴセントリックデータセットからのペアドデータを用いて、IMUエンコーダーをエンドツーエンドで対照最適化により学習すること。
• CLIPのテキストエンコーダーを用いてクラス名を埋め込み、IMU埋め込み上で最近傍探索によりマッチングすることで、ゼロショット推論を可能にすること。
• アクティビティ認識などのタスク用にラベル付きデータセットでIMUエンコーダーを微調整可能とするよう設計し、下流タスクの微調整を支援すること。

実験結果

リサーチクエスチョン

• RQ1 対照学習を用いて、IMU信号を共通の埋め込み空間に動画およびテキストと効果的に整列させることができるか？
• RQ2 大規模なエゴセントリックデータでの事前学習が、アクティビティ認識およびリtrieval タスクの下流性能を向上させるか？
• RQ3 ビデオ入力なしで、センサデータのみを用いてIMU2CLIPがゼロショットまたはフェイントショット推論を可能にするか？
• RQ4 IMU、動画、テキストの共同モデリングが、モダリティ間の推移性をどのように保持するか？

主な発見

• 微調整済みのIMU2CLIPは、Ego4Dアクティビティ認識ベンチマークで65.87%の精度を達成し、ランダム初期化モデルと比較して15.95ポイントの絶対的向上を示した。
• Ariaデータセットでは、微調整後、82.31%の精度を達成し、ベースラインと比較して6.19ポイントの向上を示した。
• Ego4DにおけるIMUから動画へのリtrievalでは、R@1が8.48%、R@50が77.67%に達し、優れたリtrieval能力を示した。
• 動画からIMUへのリtrievalでは、MRRが0.190、R@50が78.57%を達成し、効果的なクロスモダリティ整列を確認した。
• ゼロショットプローブでは、Ego4DでF1スコア42.16%を達成し、タスク固有のラベルなしで意味的な構造を適切に捉えていることを示した。
• モデルは、ビデオ入力なしでIMUとオーディオログのみを用いてゼロショットマルチモーダル推論を可能にし、GPT-3が文脈に根ざした応答を生成した。