[論文レビュー] Robust Sign Language Recognition System Using ToF Depth Cameras

Morteza Zahedi, Ali Reza Manashty|arXiv (Cornell University)|May 3, 2011

Hand Gesture Recognition Systems参考文献 10被引用数 11

ひとこと要約

本稿では、時間別深度カメラ（ToF）を用いてリアルタイムで正確な3次元手のジェスチャーを捉える、耐障害性の高い手話認識システムを提示する。時間的特徴抽出と最近傍法分類器を採用し、手話ジェスチャーの認識精度を100%に達成し、リアルタイムでの3次元アニメーションレンダリングが可能なポータブルなSiGML形式に変換する。

ABSTRACT

Sign language recognition is a difficult task, yet required for many applications in real-time speed. Using RGB cameras for recognition of sign languages is not very successful in practical situations and accurate 3D imaging requires expensive and complex instruments. With introduction of Time-of-Flight (ToF) depth cameras in recent years, it has become easier to scan the environment for accurate, yet fast depth images of the objects without the need of any extra calibrating object. In this paper, a robust system for sign language recognition using ToF depth cameras is presented for converting the recorded signs to a standard and portable XML sign language named SiGML for easy transferring and converting to real-time 3D virtual characters animations. Feature extraction using moments and classification using nearest neighbor classifier are used to track hand gestures and significant result of 100% is achieved for the proposed approach.

研究の動機と目的

• RGBベースの手法に起因する制限を克服するリアルタイムで耐障害性のある手話認識システムの開発。
• 外部のキャリブレーションオブジェクトを必要とせず、正確で高速な3次元イメージングを実現するため、ToF深度カメラの活用。
• 認識されたジェスチャーを効率的な転送と3次元アニメーションのためのポータブルなSiGML形式に変換する。
• 低コストで入手可能な深度センシング技術を用いて高い認識精度を達成する。
• 実世界の応用分野における手話認識の実用的導入を可能にする。

提案手法

• リアルタイムでの3次元データ取得のため、時間別深度カメラ（ToF）を用いて手のジェスチャーの深度画像をキャプチャする。
• 幾何的モーメントを用いて深度画像から特徴を抽出し、手の形状と姿勢を表現する。
• 抽出されたモーメント特徴に基づいて最近傍法分類器を用いてジェスチャーを分類する。
• 認識されたジェスチャーを標準化され、ポータブルなSiGML（手話マークアップ言語）形式にマッピングする。
• SiGML形式を用いて、手話アニメーションのためのリアルタイムでの3次元バーチャルキャラクターのレンダリングを可能にする。
• ToFカメラの内蔵された深度センシング機能を活用することで、複雑なキャリブレーション手順を回避する。

実験結果

リサーチクエスチョン

• RQ1 ToF深度カメラは、リアルタイムでの手話認識に十分な正確性と速度を提供できるか？
• RQ2 時間的特徴は、3次元深度データ内の手のジェスチャーを効果的に表現できるか？
• RQ3 最近傍法分類器は、深度画像からの手話ジェスチャーの分類において高い正確性を達成できるか？
• RQ4 SiGML形式は、3次元アニメーションのための認識済みジェスチャーのエンコードと転送に適しているか？
• RQ5 追加のキャリブレーションを要せず、実世界の状況でも安定して動作するか？

主な発見

• 時間的特徴抽出と最近傍法分類を用いて、100%の認識精度を達成した。
• ToF深度カメラにより、外部のキャリブレーションオブジェクトを必要とせず、正確な3次元深度イメージングが可能になった。
• SiGMLの活用により、3次元アニメーションのための標準化され、ポータブルな認識ジェスチャーのエンコードが実現した。
• 低コストの深度センシングハードウェアを用いて、リアルタイムでの手話認識において耐障害性の高い性能を示した。
• 時間的特徴は、深度データからの手のジェスチャーの空間的特徴を効果的に捉えた。
• ToFカメラとSiGMLの統合により、リアルタイムのバーチャルキャラクターのアニメーションのための実用的導入が可能になった。