[論文レビュー] Principal motion components for gesture recognition using a single-example

Hugo Jair Escalante, Isabelle Guyon+3 more|arXiv (Cornell University)|Oct 17, 2013

Human Pose and Action Recognition参考文献 26被引用数 9

ひとこと要約

本論文は、連続する動画フレームからの運動エネルギー画像を用い、次元削減に主成分分析（PCA）を適用し、再構成誤差による分類によって1ショットジェスチャー認識を実現するシンプルで効果的な手法である主運動成分（PMC）を提案する。ChaLearnジェスチャーデータセット（54,000ジェスチャー）上で評価された結果、2つのコンテストステージでそれぞれ9位および7位を達成し、以降の手法の強力なベースラインとして機能している。

ABSTRACT

This paper introduces principal motion components (PMC), a new method for one-shot gesture recognition. In the considered scenario a single training-video is available for each gesture to be recognized, which limits the application of traditional techniques (e.g., HMMs). In PMC, a 2D map of motion energy is obtained per each pair of consecutive frames in a video. Motion maps associated to a video are processed to obtain a PCA model, which is used for recognition under a reconstruction-error approach. The main benefits of the proposed approach are its simplicity, easiness of implementation, competitive performance and efficiency. We report experimental results in one-shot gesture recognition using the ChaLearn Gesture Dataset; a benchmark comprising more than 50,000 gestures, recorded as both RGB and depth video with a Kinect camera. Results obtained with PMC are competitive with alternative methods proposed for the same data set.

研究の動機と目的

• ユーザー適応型および実世界の応用で一般的に見られる、1ジェスチャーあたり1つのトレーニング例でのジェスチャー認識の課題に対処すること。
• 手作業による特徴量設計、ポーズ推定、スケルトン抽出に依存しない方法を開発することで、頑健性を向上させ、専用の前処理に依存するのを減らすこと。
• 実装が容易で拡張性があり、1ショットジェスチャー認識のためのシンプルで効率的かつ効果的なベースラインを構築すること。
• RGBおよび深度動画モダリティの両方で認識を可能にし、性能の著しい低下を防ぐこと。
• ジェスチャーのダイナミクスの変化、ユーザーのスキルレベルの違い、部分的オクルージョンなどの変動に対して頑健であること。

提案手法

• 対応する空間領域のピクセル強度の絶対差を計算することで、連続するフレームのペアごとに2次元の運動エネルギー画像を生成する。
• 1つのジェスチャー動画から得られたすべての運動マップを、時間的運動パターンを捉えるための「マップのバッグ（bag-of-maps）」表現に集約する。
• ジェスチャーの主な運動成分を表す低次元部分空間を学習するために、マップのバッグに主成分分析（PCA）を適用する。
• 認識のため、テストジェスチャーの運動マップを学習済みのPCA部分空間に射影し、各トレーニングジェスチャーとの類似度を再構成誤差として計算する。
• すべてのトレーニングモデルに対して再構成誤差が最小となるジェスチャーを、テストジェスチャーの分類結果として選ぶ。
• 手動および自動のジェスチャー分離の両方をサポートし、自動分離でも性能の著しい低下を示さない。

実験結果

リサーチクエスチョン

• RQ1 複雑なモデルやポーズ推定に依存せずに、シンプルなマップとPCAに基づく再構成誤差アプローチが、1ショットジェスチャー認識で競争的な性能を達成できるか？
• RQ2 PMCの性能は、特にダイナミックジェスチャーと静的ジェスチャーの両方でどのように変化するか？
• RQ3 最小限のハイパーパrameterチューニングで、RGBおよび深度動画モダリティの両方で一般化性能がどの程度達成できるか？
• RQ4 ジェスチャー分離の変動、特に手動と自動によるジェスチャー境界検出の違いに対して、この手法はどの程度頑健か？
• RQ5 提案手法が、1ショットジェスチャー認識分野における強力で解釈可能なベースラインとして機能し、より高度なアプローチの発展を促せるか？

主な発見

• PMCはChaLearnジェスチャーチャレンジで競争的な性能を示し、コンテストの第1ステージで9位、第2ステージで7位を達成した。
• 自動分離を用いた場合のテスト誤差率は0.2890、手動分離では0.2696であり、テンプレートマッチングや多様体学習などのベースライン手法を上回った。
• 高速または複雑な運動パターンを含む非常にダイナミックなジェスチャーに対しても、優れた性能を示した。
• RGBおよび深度動画モダリティの両方で同等の性能を維持したため、入力モダリティに頑健であることが示された。
• 手法のシンプルさと効率性のおかげで、広く採用されたベースラインとなり、チャレンジで上位にランクインしたエントリの多くがPMCをより複雑なアーキテクチャの一部として利用した。
• 特別な前処理やポーズ推定を用いなくても、シンプルで学習なしの手法としては最先端の性能を達成した。これは、基礎的かつ有効なアプローチであることを裏付けた。