[論文レビュー] Large-scale Isolated Gesture Recognition Using Convolutional Neural Networks

Pichao Wang, Wanqing Li+4 more|arXiv (Cornell University)|Jan 7, 2017

Hand Gesture Recognition Systems参考文献 32被引用数 5

ひとこと要約

本論文は、深度シーケンスを用いた大規模な分離型ジェスチャー認識のため、3つのコン act な画像ベースの表現——動的深度画像（DDI）、動的深度ノーマル画像（DDNI）、動的深度モーションノーマル画像（DDMNI）——を提案する。時間的・空間的特徴を保持するように、シーケンスを空間的・時間的画像に変換するための双方向ランクプーリングを適用することで、深度データのみを用いて事前学習済みConvNetの微調整が可能となり、ChaLearn LAP 2016チャレンジで55.57%の精度を達成し、2位となった。これは、RGBやマルチモodalデータに依存しない深度モダリティのみを用いたにもかかわらず顕著な結果である。

ABSTRACT

This paper proposes three simple, compact yet effective representations of depth sequences, referred to respectively as Dynamic Depth Images (DDI), Dynamic Depth Normal Images (DDNI) and Dynamic Depth Motion Normal Images (DDMNI). These dynamic images are constructed from a sequence of depth maps using bidirectional rank pooling to effectively capture the spatial-temporal information. Such image-based representations enable us to fine-tune the existing ConvNets models trained on image data for classification of depth sequences, without introducing large parameters to learn. Upon the proposed representations, a convolutional Neural networks (ConvNets) based method is developed for gesture recognition and evaluated on the Large-scale Isolated Gesture Recognition at the ChaLearn Looking at People (LAP) challenge 2016. The method achieved 55.57\% classification accuracy and ranked $2^{nd}$ place in this challenge but was very close to the best performance even though we only used depth data.

研究の動機と目的

• 限られた学習データのもとで、深度シーケンスからの分離型ジェスチャー認識の課題に取り組むこと。
• 空間的・時間的ダイナミクスを保持する、コンパクトで効果的な深度シーケンスの画像に類似した表現を開発すること。
• 大規模なニューラルネットワークを再学習することなく、画像ベースのConvNetから深度シーケンス分類への転移学習を可能にすること。
• RGBやマルチモーダル入力に依存せずに、深度データのみを用いて大規模ジェスチャー認識で高い精度を達成すること。

提案手法

• シーケンス内の深度マップの単純平均として、全体のポーズを捉える動的深度画像（DDI）を提案する。
• 深度マップに双方向ランクプーリングを適用することで、空間的および時間的特徴を符号化する動的深度ノーマル画像（DDNI）を導入する。
• 連続する深度マップの差分に双方向ランクプーリングを適用することで、動きのダイナミクスを強調する動的深度モーションノーマル画像（DDMNI）を開発する。
• 時間的・空間的次元で特徴を統合するため、双方向ランクプーリングを用いて、深度シーケンスからコンパクトで判別性の高い画像表現を生成する。
• 追加のパラメータを大幅に増やさずに、構築された画像表現上で事前学習済みConvNetモデル（例：AlexNet）を微調整する。
• 標準的なConvNetアーキテクチャを画像に類似した表現に適用し、深度シーケンスデータに対する効率的な学習と推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 コンパクトで画像に類似した表現が、ジェスチャー認識のための空間的ポーズと時間的動きを効果的に符号化できるか。
• RQ2 これらの画像表現上で微調整された事前学習済みConvNetは、手作業で特徴を抽出する手法に比べて、大規模ジェスチャー認識でどの程度優れているか。
• RQ3 マルチモーダルアプローチと比較して、深度データのみを用いた場合の性能は、大規模分離型ジェスチャー認識においてどの程度の水準にあるか。
• RQ4 双方向ランクプーリングが、深度シーケンスの空間的・時間的ダイナミクスを効果的に捉え、認識精度の向上に寄与できるか。

主な発見

• 提案手法は、ChaLearn LAP 2016チャレンジのテストセットで55.57%の認識精度を達成し、全体で2位となった。
• RGBモダリティを一切使用しなかったにもかかわらず、深度とRGBの両方を用いた優勝エントリ（56.90%）に非常に近い性能を発揮した（55.57%対56.90%）。
• ベースライン手法（MFSK：24.19%、MFSK+DeepID：23.67%）に比べて顕著に優れた性能を示した。
• DDI、DDNI、DDMNIの3つの表現は相補的であり、個別に使用するよりも統合的に用いることで認識精度が向上した。
• 提案された画像表現上で微調整された事前学習済みConvNetの使用により、限られた学習データ（平均してクラスあたり約144クリップ）でも効果的な学習が可能となった。