[論文レビュー] Hand Gesture Recognition with Leap Motion

Youchen Du, Shenglan Liu+3 more|arXiv (Cornell University)|Nov 12, 2017

Hand Gesture Recognition Systems参考文献 11被引用数 10

ひとこと要約

本稿では、トラッキングデータからの手のポーズ特徴とセンサ画像からのHOG特徴を統合することにより、Leap Motionコントローラーを用いた高精度な手のジェスチャー認識システムを提案する。新規に導入された指先の先端間距離（T）特徴と、PCAを用いた次元削減を施した重み付き特徴統合を適用することで、13名の被験者から得た10種類のジェスチャーを含む2,600サンプルから構成される独自データセット上で99.62%の精度を達成した。

ABSTRACT

The recent introduction of depth cameras like Leap Motion Controller allows researchers to exploit the depth information to recognize hand gesture more robustly. This paper proposes a novel hand gesture recognition system with Leap Motion Controller. A series of features are extracted from Leap Motion tracking data, we feed these features along with HOG feature extracted from sensor images into a multi-class SVM classifier to recognize performed gesture, dimension reduction and feature weighted fusion are also discussed. Our results show that our model is much more accurate than previous work.

研究の動機と目的

• Leap Motionの高精度な深度トラッキングを活用した耐障害性の高い手のジェスチャー認識システムの開発を目的とする。
• 従来の研究における限界を克服するため、認識精度の向上を図るべく、新規特徴である指先の先端間距離（T）を導入することを目的とする。
• トラッキングデータ特徴とセンサ画像からのHOG特徴を統合することによる分類性能の向上の有効性を評価することを目的とする。
• 重み付き係数とPCAによる次元削減を用いた特徴統合の最適化を目的とする。
• 今後の研究のベンチマークとして利用可能な、2,600サンプルから構成される新規で公開可能なジェスチャーデータセットの構築を目的とする。

提案手法

• Leap Motionの3次元トラッキングデータからポーズベースの特徴（A, D, E, T）を抽出した。ここでTは提案された指先の先端間距離特徴である。
• Leap Motionの画像から二値化および歪み補正を施したセンサ画像を生成し、HOG特徴を抽出することで勾配に基づくテクスチャパターンを捉えた。
• HOG特徴を係数K=1から9でスケーリングし、トラッキング特徴（A+D+T）と統合することで重み付き特徴統合を実施した。
• 特徴分散の80%を保持しつつ次元削減を実施するため、主成分分析（PCA）を適用した。
• グリッドサーチで最適化されたハイパーパrameter（Cおよびγ）を用いたOne-vs-One多クラスRBF-SVM分類器を用いてジェスチャー分類を実施した。
• モデル性能の堅牢な評価を確保するため、50回のランダムな訓練・テスト分割（80/20）と10分割交差検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 提案された指先の先端間距離（T）特徴は、従来のトラッキング特徴と比較して、ジェスチャー認識精度をどの程度向上させるか？
• RQ2 トラッキングデータと統合された場合、Leap Motionセンサ画像から抽出されたHOG特徴は、分類性能をどの程度向上させるか？
• RQ3 特徴ベクトルに統合する際、HOG特徴をスケーリングする最適な重み係数Kは何か？
• RQ4 PCAに基づく次元削減は、特徴空間の縮小を伴いながらも、高い認識精度を維持するのにどの程度有効か？
• RQ5 本稿で提案されたシステムは、Leap Motionを用いて収集された新規の大規模ジェスチャーデータセットにおいて、最先端の性能を達成できるか？

主な発見

• 指先の先端間距離（T）特徴は、 Marinらの元のデータセットおよび著者自身が作成したデータセットの両方において、従来の特徴集合（A+D+E）と比較して認識精度を1%以上向上させた。
• HOG特徴単体での認識精度は96.15%に達し、トラッキング特徴のみに比べて顕著に優れていた。これは画像ベースの勾配特徴の価値を示している。
• A+D+Tと5倍重み付きHOG特徴を統合した場合、認識精度は98.08%に達し、特徴統合が性能向上に顕著に寄与することを示した。
• HOG特徴の最適な重み係数はK=4またはK=5であり、PCAによる60%の次元削減後でも高い精度を維持していた。
• A+D+T+5x HOG特徴集合にPCAを適用し、分散の80%を保持した結果、著者らのデータセットで報告された最高の認識精度99.42%を達成した。
• 最高性能を示したモデル（A+D+T+5x HOG+80% PCA）の誤分類行列は、最小限の誤分類を示しており、高い耐障害性と一般化性能を確認した。