[論文レビュー] Large-scale Continuous Gesture Recognition Using Convolutional Neural Networks

Pichao Wang, Wanqing Li+4 more|arXiv (Cornell University)|Aug 22, 2016

Hand Gesture Recognition Systems参考文献 38被引用数 11

ひとこと要約

本論文は、深層学習を用いた大規模連続ジェスチャー認識のためのアプローチを提案する。深度マップシーケンスのみを用い、動きの量（QOM）によるジェスチャー分離、空間的・時間的特徴を符号化する改良型深度モーションマップ（IDMM）の構築、微調整された畳み込みニューラルネットワーク（ConvNets）を用いた分類を実施。チャレンジ2016年における平均Jaccard指数は0.2655を達成し、3位となった。

ABSTRACT

This paper addresses the problem of continuous gesture recognition from sequences of depth maps using convolutional neutral networks (ConvNets). The proposed method first segments individual gestures from a depth sequence based on quantity of movement (QOM). For each segmented gesture, an Improved Depth Motion Map (IDMM), which converts the depth sequence into one image, is constructed and fed to a ConvNet for recognition. The IDMM effectively encodes both spatial and temporal information and allows the fine-tuning with existing ConvNet models for classification without introducing millions of parameters to learn. The proposed method is evaluated on the Large-scale Continuous Gesture Recognition of the ChaLearn Looking at People (LAP) challenge 2016. It achieved the performance of 0.2655 (Mean Jaccard Index) and ranked $3^{rd}$ place in this challenge.

研究の動機と目的

• ジェスチャー境界が未知である非制約的深度シーケンスにおける連続ジェスチャー認識を解決すること。
• 不完全なジェスチャー分離に影響されにくい頑健な分類フレームワークの開発。
• 再訓練を始めから行わず、事前学習済みConvNetsを活用して効率的な特徴学習を実現すること。
• RGBやマルチモodal入力に依存せず、深度データのみを用いて高い性能を達成すること。

提案手法

• ジェスチャーのシーケンスは、動きの強度に基づいて潜在的なジェスチャー境界を特定する動きの量（QOM）法により分離される。
• 各分離されたジェスチャーに対して、深度マップの差分をスタックすることで改良型深度モーションマップ（IDMM）が構築され、空間的および時間的ダイナミクスが1枚の画像に符号化される。
• IDMMは事前学習済みの畳み込みニューラルネットワーク（ConvNet）に供給され、特徴抽出と分類が行われ、トランスファー学習とパラメータの効率性が実現される。
• 本手法は、IDMM表現上で既存のConvNetモデル（例：AlexNet）を微調整することで、新たなパラメータ数百万個を再学習することなく、ジェスチャー分類に適応する。
• QOM処理中にスライディングウィンドウの最適化手順を適用し、各ウィンドウ内でQOMが最小となるフレームを選択することで、境界検出の精度を向上させる。
• 分類は各ジェスチャー・セグメントごとに行われ、認識性能はすべてのテストシーケンスにわたるJaccard指数を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 RGBやスケルトンデータを用いない単一モodalな深度ベース手法が、連続ジェスチャー認識で競争力のある性能を達成できるか？
• RQ2 IDMM表現は、ジェスチャー分類のための空間的・時間的ダイナミクスをどの程度効果的に符号化できるか？
• RQ3 事前学習済みConvNetsをIDMMに微調整することで、最小限の追加学習で高い精度を達成できるか？
• RQ4 深層学習と組み合わせたQOMベースの分離手法は、エンドツーエンドのジェスチャー認識においてどの程度の頑健性を示すか？

主な発見

• 提案手法は、チャレンジ2016年のテストセットにおいて平均Jaccard指数0.2655を達成し、26チーム中3位となった。
• RGBと深度の両方を用いたベースライン手法がテストセットで0.1435を記録したのに対し、本手法は深度データのみを用いてもそれを上回った。
• バリデーションにおける平均Jaccard指数は0.2403を達成し、ベースラインのMFSK手法（0.0918）およびMFSK+DeepID（0.0902）を著しく上回った。
• マルチモーダル入力（RGBと深度）を用いた上位2チームと比較して性能が近く、深度データのみで効果的なアプローチであることを示した。
• 計算コストは中程度であり、Tesla K40搭載のGPU搭載ワークステーション上では、1つの深度シーケンスあたり約0.8秒で処理が可能であった。
• 結果から、IDMMと微調整されたConvNetsは、大規模連続ジェスチャー認識に向けた強力で効率的かつスケーラブルなソリューションを提供することが示された。