[論文レビュー] What's the point? Frame-wise Pointing Gesture Recognition with Latent-Dynamic Conditional Random Fields

Christian Wittner, Boris Schauerte+1 more|arXiv (Cornell University)|Oct 20, 2015

Hand Gesture Recognition Systems参考文献 23被引用数 4

ひとこと要約

本稿では、Kinectなどの深度センサから得られるスケルトンデータを用いて、Latent-Dynamic Conditional Random Fields (LDCRFs)を用いたフレーム単位の指差しジェスチャー認識システムを提案する。83%のフレーム単位の正答率を達成し、0.63%の低誤検出率で連続する指差しジェスチャーを検出可能であり、ジェスチャーが発生する途中からも認識可能であるため、リアルタイムで人物に依存しないHRI（人間-ロボット相互作用）の応用が可能となる。

ABSTRACT

We use Latent-Dynamic Conditional Random Fields to perform skeleton-based pointing gesture classification at each time instance of a video sequence, where we achieve a frame-wise pointing accuracy of roughly 83%. Subsequently, we determine continuous time sequences of arbitrary length that form individual pointing gestures and this way reliably detect pointing gestures at a false positive detection rate of 0.63%.

研究の動機と目的

• ジェスチャーが実行中である間にリアルタイムで連続する指差しジェスチャーを検出可能とし、自然な人間-ロボット相互作用（HRI）を支援すること。
• 深度カメラからのスケルトンベースの入力を用いて、誤検出率が低い指差しジェスチャー検出の課題に取り組むこと。
• 従来のHMMやCRFに比べ、ジェスチャー列における複雑な時間的ダイナミクスと長距離依存関係をモデル化することで、性能を向上させること。
• Microsoft Kinectを用いて収集した新しいデータセットを活用し、ロバストで人物に依存しない指差しジェスチャー検出システムを構築すること。
• ジェスチャー実行中に早期フィードバック（例：ロボットがターゲット領域に向かって頭を向ける）を可能とすること。

提案手法

• スケルトンベースのジェスチャー列における時間的依存関係と潜在状態をモデル化するために、Latent-Dynamic Conditional Random Fields (LDCRFs) を活用する。
• Microsoft Kinectの関節位置データを、フレーム単位のジェスチャー分類の入力特徴量として使用する。
• 短時間の誤分類を抑制し、連続する指差しジェスチャーのセグメントを抽出するために、時間方向に中央値フィルタリングを適用する。
• 正しい検出、誤検出、重複、漏れのジェスチャーを区別するため、カスタムステートマシンを用いてシーケンス評価を実施する。
• 人物に依存しない性能を確保するため、18名の被験者が指差しジェスチャーを実行した新しい多様なデータセットをLDCRFに学習させた。
• 同じデータセットと評価プロトコルを用いて、ベースラインのHMMシステムと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 LDCRFは、スケルトンデータを用いたフレーム単位の指差しジェスチャー分類において、従来のHMMやCRFを上回る性能を示せるか？
• RQ2 LDCRFベースのシステムは、リアルタイムで誤検出率が低い連続する指差しジェスチャーを検出できるか？
• RQ3 上昇・下降・指差しのフェーズなど、曖昧なジェスチャー段階に対しても、誤検出を引き起こさずに適切に処理できるか？
• RQ4 ジェスチャーが実行中である間に、指差しジェスチャーを検出可能であり、HRIにおいて即時のフィードバックを可能にできるか？
• RQ5 フレームのグループ化およびフィルタリング戦略は、ジェスチャー列のセグメンテーション精度にどのような影響を及えるか？

主な発見

• LDCRFは、フレーム単位の指差しジェスチャー分類で83%の正答率を達成し、HMMベースラインを顕著に上回った。
• システムは、誤検出率がたった0.63%という低水準で連続する指差しジェスチャーを検出可能であり、高い信頼性を示した。
• LDCRFは、正確な終了フレーム一致を20.32%の割合で正しく特定したが、HMMベースラインはわずか0.21%にとどまった。
• システムは、2つのジェスチャーが1つに統合される重複検出率が16.42%を示しており、シーケンスセグメンテーションの改善の余地があることを示した。
• HMMに比べてLDCRFは誤検出を低減しており、誤検出率は0.63%（HMMは0.83%）であった。ただし、HMMは非指差しフェーズのフレームレベル再現率が高かった。
• 本研究では、指差しジェスチャー中におけるターゲットオブジェクト推論の最適タイミングが、分類精度を最大で10%向上させられることを示した。