[論文レビュー] Human Computer Interaction Using Marker Based Hand Gesture Recognition

Sayem Mohammad Siam, Jahidul Adnan Sakel+1 more|arXiv (Cornell University)|Jun 23, 2016

Hand Gesture Recognition Systems参考文献 12被引用数 9

ひとこと要約

本稿では、指先に赤と緑のマーカーを装着し、テンプレートマッチングとカルマンフィルタを組み合わせた低コストでマーカーに基づく手のひらジェスチャー認識システムを提案する。このシステムは、一般消費者向けのWebカメラを用いてリアルタイムで検出・追跡を実現し、ユーザーの適応後には平均79.4%の精度を達成する。これにより、タッチスクリーンが不要なデスクトップシステムを、クリック、ズーム、ナビゲーションなどのジェスチャーで直感的かつエコノミカルに操作可能となる。

ABSTRACT

Human Computer Interaction (HCI) has been redefined in this era. People want to interact with their devices in such a way that has physical significance in the real world, in other words, they want ergonomic input devices. In this paper, we propose a new method of interaction with computing devices having a consumer grade camera, that uses two colored markers (red and green) worn on tips of the fingers to generate desired hand gestures, and for marker detection and tracking we used template matching with kalman filter. We have implemented all the usual system commands, i.e., cursor movement, right click, left click, double click, going forward and backward, zoom in and out through different hand gestures. Our system can easily recognize these gestures and give corresponding system commands. Our system is suitable for both desktop devices and devices where touch screen is not feasible like large screens or projected screens.

研究の動機と目的

• 一般消費者向けのWebカメラと色付きマーカーのみを用いて、低コストでリアルタイムのヒューマンコンピュータインタラクション（HCI）システムを開発すること。
• 変動する照明条件、背景の干渉、一時的遮断などの条件下でも、マーカー検出と追跡の課題を克服すること。
• マウスやタッチパッドなどの従来の入力デバイスに代わる、直感的でエコノミカルなデスクトップおよび大画面デバイスの操作を、手のひらジェスチャーにより可能にすること。
• 適応学習と最適化された検出アルゴリズムにより、ユーザーの使いやすさと高い認識精度を確保すること。
• 2次元空間におけるマーカーに基づくジェスチャー制御の実現可能性を示し、深度センシングを用いた3次元への拡張可能性を検討すること。

提案手法

• 計算複雑性の低減とリアルタイムでのマーカー検出の高速化を目的として、スライディングウィンドウ機構を用いたテンプレートマッチングを採用した。
• マーカー位置の予測と一時的遮断や急激な移動への対処を可能にするために、カルマンフィルタを統合した。
• 照明変動への感受性を低減するため、マーカー検出時に色相（Hue）と彩度（Saturation）に焦点を当てたHSL色空間を用いた。
• 所定の領域範囲外の領域を除外することで、背景オブジェクトとマーカーを区別するためのサイズ基準を導入した。
• マーカー紛失後の再検出を高速化するために、境界ボックスを用いた円形走査を実装し、回復速度を約12%向上させた。
• 指先に赤と緑の2色のマーカーを用いて8種類の明確な手のひらジェスチャー（例：左クリック、ズームイン/アウトなど）を定義し、標準的なシステムコマンドに対応させた。

実験結果

リサーチクエスチョン

• RQ1 一般消費者向けのWebカメラのみを用いた低コストでマーカーに基づくシステムが、リアルタイムかつ高精度な手のひらジェスチャー認識を達成できるか。
• RQ2 テンプレートマッチングとカルマンフィルタの組み合わせが、高速移動や部分的遮断といった動的条件下でもマーカー追跡の強靭性を高められるか。
• RQ3 繰り返し使用することでユーザーのパフォーマンスはどの程度向上するか。また、システムは時間経過に伴いユーザー適応をどの程度支援できるか。
• RQ4 検索ウィンドウとサイズベースのフィルタリングの使用が、複雑な視覚環境下での検出速度と精度をどの程度向上させるか。
• RQ5 特別なハードウェアを必要とせずに、特定の手のひらジェスチャーを標準的なシステムコマンドに信頼性高くマッピングできるか。

主な発見

• システムは平均1フレームあたり0.025秒の処理速度で動画を処理し、実用的なHCIアプリケーションに適したリアルタイム相互作用を実現した。
• ユーザーの認識精度は、最初の10回の試行で59.38%から、30回の試行後には79.4%に著しく向上した。これは、ユーザーの適応能力とシステムの学習可能性の高さを示している。
• 境界ボックスを用いた円形走査により、制約なしの通常走査と比較してマーカー再検出時間を約12%短縮した。
• 5名のユーザーを対象とした平均ジェスチャー認識精度は、繰り返し使用後79.4%に達し、高いシステム信頼性とユーザーフレンドリーさを示した。
• 左/右クリック、ズームイン/アウトなど8種類の明確なジェスチャーが、一貫性のある認識性能で対応するシステムコマンドにマッピングされた。
• 色空間変換（HSL）とサイズベースのフィルタリングの統合により、同色の背景オブジェクトによる誤検出が顕著に減少した。