[論文レビュー] Head Gesture Recognition using Optical Flow based Classification with Reinforcement of GMM based Background Subtraction

Parimita Saikia, Karen Das|arXiv (Cornell University)|Aug 5, 2013

Hand Gesture Recognition Systems参考文献 20被引用数 14

ひとこと要約

本稿では、ガウス混合モデル（GMM）を用いた背景差分法と光学フローに基づく分類を組み合わせたリアルタイムの頭部ジェスチャー認識システムを提案する。GMMに光学フローを統合することで、動きのある環境下でも頭部の動きの検出精度が向上し、実験結果により制御システム応用における有効性が裏付けられている。

ABSTRACT

This paper describes a technique of real time head gesture recognition system. The method includes Gaussian mixture model (GMM) accompanied by optical flow algorithm which provided us the required information regarding head movement. The proposed model can be implemented in various control system. We are also presenting the result and implementation of both mentioned method.

研究の動機と目的

• 制御応用を想定したリアルタイムの頭部ジェスチャー認識システムの開発を目的とする。
• 複雑な変化する背景条件下でも頭部の動き検出の精度を向上させることを目的とする。
• GMMに基づく背景差分法と光学フローを統合し、より高精度な動き推定を実現することを目的とする。
• 実際のシナリオにおける統合手法の性能を評価することを目的とする。
• 頭部ジェスチャー認識に適した、計算効率が良くかつ頑健なソリューションを提供することを目的とする。

提案手法

• ガウス混合モデル（GMM）を用いて背景差分法を実行し、シーンから動きのある物体を分離する。
• セグメンテーション処理で得られた前景領域に対して光学フローを計算し、頭部の動きベクトルを推定する。
• 光学フローから得られる動きベクトルを分類することで、うなずきやふらしといった特定の頭部ジェスチャーを検出する。
• GMMの結果を光学フローのデータで強化することで、セグメンテーションの精度を向上させ、ノイズを低減する。
• 光学フロー特徴量を処理する分類パイプラインを構築し、事前に定義された頭部ジェスチャーを識別する。
• システムはリアルタイム動作を想定しており、制御システムへの統合に適している。

実験結果

リサーチクエスチョン

• RQ1 GMMに基づく背景差分法は、どのようにしてリアルタイムでの頭部ジェスチャー検出を向上させられるか？
• RQ2 光学フローは、頭部の動き分類精度をどの程度向上させるか？
• RQ3 GMMと光学フローの融合は、動的またはごみだらけのシーンでもより頑健な性能を発揮するか？
• RQ4 リアルタイム応用に適した統合手法の計算効率はどの程度か？
• RQ5 本システムは、さまざまな照明条件や環境条件下でどの程度の性能を示すか？

主な発見

• GMMと光学フローを統合することで、GMM単体に比べて頭部ジェスチャー検出の精度が顕著に向上した。
• システムはリアルタイム性能を達成しており、インタラクティブ制御システムへの実装に適している。
• GMMに光学フローのデータを統合することで、誤検出が減少し、頭部の動きのセグメンテーション精度が向上した。
• 実験結果から、動的背景を含むさまざまなテストシナリオにおいて一貫した性能を示した。
• 本手法は、うなずきやふらしといった異なる頭部ジェスチャーを、高い信頼性で区別できた。
• 本手法は、わずかな照明の変化や背景のごみに対しても頑健であることが示された。