[論文レビュー] Deformable Deep Convolutional Generative Adversarial Network in Microwave Based Hand Gesture Recognition System

Jiajun Zhang, Zhiguo Shi|arXiv (Cornell University)|Nov 6, 2017

Hand Gesture Recognition Systems参考文献 12被引用数 4

ひとこと要約

本稿では、限られた学習データにおける過学習と長時間の推論時間を解消するため、マイクロ波ベースの手のジェスチャー認識に向けた可変型ディープ畳み込み生成対抗ネットワーク（De-DCGAN）を提案する。可変型畳み込み、SELU活性化関数、GANベースのデータ拡張を統合することで、5.8GHzドップラーレーダーを用いて取得した24ジェスチャーのデータセット上で、認識精度を10%向上させ、テスト時間も30%短縮した。

ABSTRACT

Traditional vision-based hand gesture recognition systems is limited under dark circumstances. In this paper, we build a hand gesture recognition system based on microwave transceiver and deep learning algorithm. A Doppler radar sensor with dual receiving channels at 5.8GHz is used to acquire a big database of hand gestures signals. The received hand gesture signals are then processed with time-frequency analysis. Based on these big databases of hand gesture, we propose a new machine learning architecture called deformable deep convolutional generative adversarial network. Experimental results show the new architecture can upgrade the recognition rate by 10% and the deformable kernel can reduce the testing time cost by 30%.

研究の動機と目的

• 限られた学習データにおけるディープラーニングベースのマイクロ波ジェスチャー認識における過学習と長時間の推論時間を解消すること。
• 24種類のジェスチャー組み合わせからなる、大規模ではあるが限られたデータセットを用いて、微細な手のジェスチャー分類の認識精度を向上させること。
• モデルの性能を損なわず、リアルタイムでの低消費電力デバイスへのデプロイを可能にするために、テスト時間を短縮すること。
• 可変型畳み込みとSELU活性化関数が一般化性能と学習効率を向上させるかを評価すること。
• GANベースのデータ生成を用いて、実レーダー信号データを拡張し、分類性能を向上させる可能性を実証すること。

提案手法

• 提案されたDe-DCGANは、識別器で標準的なプーリング層をストライド付き畳み込みに、生成器で逆畳み込みに置き換えることで、空間分解能を保持する。
• スケーリングされた指数線形ユニット（SELU）を生成器および識別器の活性化関数として用い、自己正規化学習を可能にし、収束性を向上させる。
• すべての畳み込み層に可変型畳み込みカーネルを適用し、学習可能なオフセットベクトルによって動的サンプリング位置を制御することで、ジェスチャー固有の信号パターンをよりよく捉える。
• 短時間フーリエ変換（STFT）および連続ウェーブレット変換（CWT）からの時間周波数表現を入力特徴として用い、識別能力を向上させる。
• 事前学習段階で実ジェスチャーデータを用いて訓練した識別器を、分離された分類ヘッドを必要とせず、独立して分類器として使用する。
• 生成器によるデータ拡張を実施し、現実的で信頼性の高いジェスチャー信号サンプルを合成することで、学習データベースを効果的に拡張する。

実験結果

リサーチクエスチョン

• RQ1 限られた実データにおけるGANベースのアーキテクチャに可変型畳み込みを組み合わせることで、マイクロ波ベースの手のジェスチャー認識精度が向上するか？
• RQ2 バッチ正規化を併用したReLUと比較して、SELU活性化関数が認識性能および学習安定性において優れているか？
• RQ3 可変型畳み込み機構は、分類精度を維持または向上させつつ、推論時間をどの程度短縮できるか？
• RQ4 生成器は、過学習を緩和するために、高品質で現実的な時間周波数表現のジェスチャーを効果的に合成できるか？
• RQ5 従来のCNNと比較して、De-DCGANは多様なジェスチャー種別にわたる一般化性能および耐障害性において優れているか？

主な発見

• De-DCGANアーキテクチャは、従来のCNNと比較して平均ジェスチャー認識率を10%向上させ、個々のジェスチャー認識率は、ジェスチャー1で72.3%から87.4%、ジェスチャー2で79.8%から93.3%、ジェスチャー3で75.7%から85.7%、ジェスチャー4で76.7%から90.9%に上昇した。
• SELU活性化関数単体でも、バッチ正規化を併用したReLUと同等の性能を達成し、ジェスチャー2で90.6%の認識率を記録。ReLU+BN（88.7%）を上回り、SELUがバッチ正規化を必要とせず自己正規化の利点を提供することを示した。
• 可変型畳み込み機構により、平均テスト時間が30%短縮され、4つのジェスチャー種別で従来のCNNの641.5msからDe-DCGANの436.7msに低下した。
• 25エポックの学習後、生成器は高品質な時間周波数表現のジェスチャーを効果的に生成し、実データセットの拡張と過学習の軽減に貢献した。
• 訓練後に識別器を独立して分類器として使用したところ、高い認識精度を達成した。これは、GANベースのアーキテクチャがエンドツーエンド分類器として効果的であることを確認した。
• 可変型畳み込みとGANベースのデータ合成の組み合わせは、特に複雑なジェスチャーパターンを示す低データ環境下でのモデル一般化性能を顕著に向上させた。