[論文レビュー] Egocentric Activity Recognition with Multimodal Fisher Vector

Sibo Song, Ngai‐Man Cheung+3 more|arXiv (Cornell University)|Jan 25, 2016

Human Pose and Action Recognition参考文献 12被引用数 9

ひとこと要約

本論文は、エゴセントリック動画トラジェクトリと時間的に強化されたセンサーフィーチャーをFisherカーネル法を用いて統合するマルチモーダルフィッシャー・ベクトル（MFV）フレームワークを提案する。同期化されたウェアラブルセンサーやカメラからの補完的で視覚的・運動的データを活用することで、20種類の細分化された行動認識において83.7%の正確性を達成し、動画のみ、センサーのみ、および単純な特徴量連結ベースラインを著しく上回った。

ABSTRACT

With the increasing availability of wearable devices, research on egocentric activity recognition has received much attention recently. In this paper, we build a Multimodal Egocentric Activity dataset which includes egocentric videos and sensor data of 20 fine-grained and diverse activity categories. We present a novel strategy to extract temporal trajectory-like features from sensor data. We propose to apply the Fisher Kernel framework to fuse video and temporal enhanced sensor features. Experiment results show that with careful design of feature extraction and fusion algorithm, sensor data can enhance information-rich video data. We make publicly available the Multimodal Egocentric Activity dataset to facilitate future research.

研究の動機と目的

• エゴセントリック行動認識におけるマルチモーダル統合の不足を解消するため、視覚的およびセンサーデータを統合すること。
• グーグル・グラスから同期化された動画とセンサーデータを収集した、公開可能な新しいマルチモーダル・エゴセントリック行動データセットを構築すること。
• 行動固有の運動パターンを捉えるために、センサーデータの時間的符号化手法を構築すること。
• 生成的モデリングと判別的分類を統合するためのフィッシャー・カーネルに基づく統合フレームワークを設計すること。
• 提案されたMFVアプローチが、動画のみ、センサーのみ、および特徴量連結ベースラインよりも優れていることを実証的に検証すること。

提案手法

• 著者らは、グーグル・グラスにカスタムアプリを搭載し、同期化されたエゴセントリック動画とセンサーデータ（加速度計、ジャイロスコープなど）を収集した。
• 最先端の手法を用いてエゴセントリック動画から密なトラジェクトリーフィーチャーを抽出し、エゴ運動パターンを捉えた。
• スライディングウインドウを適用し、統計量（平均、標準偏差、ピーク間隔）を計算することで、センサーデータから時間的特徴量（TFVS）を提案した。
• 両者をガウス・ミックスチャネル・モデル（GMM）としてモデル化し、GMMパラメータからフィッシャー・ベクトルを計算することで、動画のフィッシャー・ベクトル（FVV）とTFVSをフィッシャー・カーネルフレームワークで統合した。
• 得られたマルチモーダル・フィッシャー・ベクトル（MFV）は、分類のための単一で判別的な特徴表現として、両モダリティを統合した。
• 評価にはSVMと決定木を用い、MFVをFVV、TFVS、および特徴量連結と比較した。

実験結果

リサーチクエスチョン

• RQ1 センサーデータの時間的強化は、標準的な統計的特徴量を上回るエゴセントリック行動認識性能を向上させるか？
• RQ2 フィッシャー・カーネルを用いて、時間的に強化されたセンサーフィーチャーと動画トラジェクトリーフィーチャーを統合することで、単モダリティまたは単純な連結アプローチよりも優れた性能が得られるか？
• RQ3 高視覚的・文脈的変動性を示す複雑な細分化されたエゴセントリック行動において、提案されたMFVフレームワークはどのように性能を発揮するか？
• RQ4 MFVの計算コストは、他の統合戦略と比較してどの程度で、データセットサイズに伴いどのようにスケーリングされるか？

主な発見

• 提案されたマルチモーダル・フィッシャー・ベクトル（MFV）は、83.7%の分類正確性を達成し、動画のみ（FVV：78.4%）およびセンサーのみ（TFVS：69.0%）のベースラインを著しく上回った。
• 特に「電話をかける」（28.57% → 51.1%）や「PCで作業する」（42.86% → 64.96%）といった、視覚的手がかりが曖昧な困難なカテゴリで、最大の性能向上が見られた。
• センサーデータの時間的符号化（TFVS）は、基本的な統計的特徴量を上回り、加速度信号内の時間的パターンが行動認識に判別的情報を提供していることを示した。
• MFVは、FVVとTFVSの特徴量連結（82.2%）を上回った。これは、フィッシャー・カーネル統合が、エアリー統合やラテラル統合戦略よりも効果的であることを示している。
• MFVの計算コストは、センサーデータに関しては（全データセットで1分未満）低く、単一モダリティ手法よりもコストが高めではあるが、実用的である。
• シーン、照明、個人のスタイルの多様性を持つデータセットは、MFVが現実世界のエゴセントリック環境においても頑健であることを裏付けた。