[論文レビュー] Kinect Sensor Based Gesture Recognition for Surveillance Application

Biswarup Ganguly, Amit Konar|arXiv (Cornell University)|Dec 22, 2018

Hand Gesture Recognition Systems参考文献 5被引用数 7

ひとこと要約

本論文では、深度データとスケルタルトラッキングを活用して、複雑で周期的でない手のジェスチャーを、複数人環境下でリアルタイムに検出する、Kinectセンサーを用いた監視用途向けのジェスチャー認識システムを提案する。ポーズ推定と時系列モデリングを組み合わせることで、厳しい条件下でも周期的でないジェスチャーを頑健に認識でき、動的でリアルな監視状況において高い正確性を示した。

ABSTRACT

Hand gesture recognition has been granted as one of the emerging fields in research today providing a natural way of communication between man and a machine. Gestures are some forms of body motions which a person expresses when doing a work or giving a reply. Human body tracking is a well studied topic in todays era of Human Computer Interaction and it can be formed by the virtue of human skeleton structures. These skeleton structures have been detected successfully due to the smart progress of some devices, used to measure depth. Human body movements have been viewed using these depth sensors which can provide sufficient accuracy while tracking full body in real time mode with low cost. In reality action and reaction activities are hardly periodic in a multi person perspective situation. Also recognizing their complex a-periodic gestures are highly challenging for detection in surveillance system.

研究の動機と目的

• 低コストの深度センサーを用いた監視用途向けのリアルタイムジェスチャー認識システムの開発を目的とする。
• 複数人で動的な環境下において、複雑で周期的でないジェスチャーを認識する課題に対処することを目的とする。
• Kinectセンサーからのスケルタルトラッキングを活用して、ジェスチャー検出の正確性と頑健性を向上させることを目的とする。
• 直感的なジェスチャー制御を通じて、監視環境における自然な人間-機械インタラクションを可能にすることを目的とする。
• 監視設定で一般的な非理想的な実環境条件下でのシステム性能を評価することを目的とする。

提案手法

• Microsoft Kinectセンサーを用いて、リアルタイムに深度データとスケルタルデータを取得する。
• 人体のスケルトントラッキングを用いて、関節位置と運動パターンを抽出する。
• 特に周期的でないジェスチャーを対象に、ジェスチャーの時系列的パターンを分析するための時系列モデリングを適用する。
• 手領域を分離し、分類のための運動特徴を抽出するために、深度データを処理する。
• 機械学習手法を用いて、スケルタル特徴と運動特徴に基づきジェスチャーを分類する。
• 空間的および時系列的特徴を統合することで、複雑で周期的でないジェスチャーの認識を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Kinectの深度センサーデータをどのように効果的に活用して、リアルタイムで周期的でないジェスチャーを認識できるか？
• RQ2 複数人での監視環境において、スケルタルトラッキングはジェスチャー認識の正確性をどのように向上させるか？
• RQ3 本システムは、動的で現実的で複雑な環境下における周期的でないジェスチャーの複雑さをどのように処理するか？
• RQ4 低コストの深度センサーは、監視用途に適した信頼性の高いジェスチャー認識を達成できるか？
• RQ5 現在のジェスチャー認識システムは、複数人で周期的でない状況において、どのような限界を有するか？

主な発見

• 本システムは、Kinectの深度データとスケルタルデータを用いて、複雑で周期的でないジェスチャーをリアルタイムに認識することに成功した。
• スケルタルトラッキングにより、関節ベースの構造的特徴が得られ、ジェスチャー認識の正確性が顕著に向上した。
• 遮蔽やごみの多い状況下でも、複数人環境下での性能を維持するなど、本手法は頑健性を示した。
• ジェスチャーの時系列的モデリングにより、繰り返しのない不規則なジェスチャーの認識が向上した。
• 計算コストが低く抑えられ、リアルタイム監視に適した高い認識正確性を達成した。
• 動的環境下でも効果的であり、困難な条件下で従来手法を上回る性能を示した。