[論文レビュー] Static Gesture Recognition using Leap Motion

Babak Toghiani-Rizi, Christofer Lind+2 more|arXiv (Cornell University)|May 16, 2017

Hand Gesture Recognition Systems参考文献 5被引用数 3

ひとこと要約

本稿では、Leap Motionセンサーと機械学習を用いた静的ジェスチャー認識システムを提示し、飲食物の注文を手のジェスチャーで行う自動バーテンダーインターフェースの実現を目的としている。指先から掌までの距離から得られる正規化された10次元特徴ベクトルを用い、k-Nearest Neighbor分類器を適用した結果、8種類の異なるジェスチャーを95％の平均精度で分類することができ、人間のバーテンダーとの補完的ツールとしての可能性を示したが、倫理的制限も伴う。

ABSTRACT

In this report, an automated bartender system was developed for making orders in a bar using hand gestures. The gesture recognition of the system was developed using Machine Learning techniques, where the model was trained to classify gestures using collected data. The final model used in the system reached an average accuracy of 95%. The system raised ethical concerns both in terms of user interaction and having such a system in a real world scenario, but it could initially work as a complement to a real bartender.

研究の動機と目的

• バーにおける騒音環境下でのコミュニケーションを改善するため、ジェスチャーに基づく注文システムの開発。
• 実世界の応用において、Leap Motionを用いた静的手のジェスチャー認識の正確性の可能性を検討すること。
• ユーザー特有のカスタマイズを最小限に抑えて手のジェスチャーを分類するための機械学習モデルの評価。
• 公共サービス環境に自動ジェスチャー認識システムを導入する際の実用的および倫理的課題の解決。

提案手法

• 約20名の参加者から、それぞれが8種類の異なるジェスチャーを3回ずつ実行した合計528件のジェスチャー画像を収集。
• 各指先からその対応する掌の中心までのユークリッド距離を用いて10次元の特徴ベクトルを抽出。
• 各手の5本の指の距離を[0,1]に正規化し、手のサイズの違いにかかわらず一貫性を確保。
• 可視化および分析のため、主成分分析（PCA）を用いて特徴の次元を削減。
• TensorFlow上で3つのモデルを訓練および比較：k-Nearest Neighbor（k=2）、多層パーセプトロン（MLP）、多項ロジスティック回帰（MLR）。
• 視覚的および音声的フィードバックを実装し、ユーザーとのインタラクションおよびアクセシビリティを向上。

実験結果

リサーチクエスチョン

• RQ1 Leap Motionは、リアルタイムのバーテンダーインターフェースに適した静的手のジェスチャーを正確に捉え、分類できるか？
• RQ2 小規模で実世界のジェスチャーデータセットにおいて、k-Nearest Neighborの性能はニューラルネットワークモデル（MLPおよびMLR）と比べてどうか？
• RQ3 相対的な指の距離の正規化が、多様な手のサイズにわたる認識の頑健性をどの程度向上させるか？
• RQ4 公共の場に自動ジェスチャー認識バーテンダーを導入するにあたり、主な倫理的課題は何か？
• RQ5 意思決定能力および包括性に制限があるにもかかわらず、このシステムは人間のバーテンダーとの補完的ツールとして実用的であると言えるか？

主な発見

• k-Nearest Neighborモデルが95％の最高分類精度を達成し、与えられたデータセットにおいてMLPおよびMLRモデルを上回った。
• 各手の指の距離をその手の範囲内での相対距離に正規化することで、異なる手のサイズにわたるモデルの頑健性が著しく向上した。
• PCAの可視化から、ジェスチャークラスの部分的なクラスタリングが確認されたが、InitとFoodのクラスには顕著な重複が見られ、誤分類の可能性があることが示された。
• システムはリアルタイムのジェスチャー認識において優れた性能を示し、制御されたバー環境での実用的利用を支持するものであった。
• 高い正確性にもかかわらず、このシステムは、10本の指をすべて持っていないユーザーの排除や、アルコール販売の意思決定能力の欠如といった深刻な倫理的懸念を引き起こしている。
• オープンソースの実装はGitHubで公開されており、研究の再現および拡張が可能である。