[論文レビュー] TinyRadarNN: Combining Spatial and Temporal Convolutional Neural Networks for Embedded Gesture Recognition with Short Range Radars

Moritz Scherer, Michele Magno+4 more|arXiv (Cornell University)|Jun 25, 2020

Hand Gesture Recognition Systems参考文献 52被引用数 8

ひとこと要約

本論文では、2次元畳み込みニューラルネットワーク（CNN）を用いて空間的特徴を抽出し、時系列モデリングに時系列畳み込みニューラルネットワーク（TCN）を用いる、短距離レーダー信号を対象とした軽量で低消費電力なジェスチャー認識システム「TinyRadarNN」を提案する。マイコン上で92 KBのモデルサイズと21 mWの推論消費電力で92.4%の精度を達成し、バッテリー駆動のウェアラブル機器向けにリアルタイムの埋め込みジェスチャー認識を実現する。

ABSTRACT

This work proposes a low-power high-accuracy embedded hand-gesture recognition algorithm targeting battery-operated wearable devices using low power short-range RADAR sensors. A 2D Convolutional Neural Network (CNN) using range frequency Doppler features is combined with a Temporal Convolutional Neural Network (TCN) for time sequence prediction. The final algorithm has a model size of only 46 thousand parameters, yielding a memory footprint of only 92 KB. Two datasets containing 11 challenging hand gestures performed by 26 different people have been recorded containing a total of 20,210 gesture instances. On the 11 hand gesture dataset, accuracies of 86.6% (26 users) and 92.4% (single user) have been achieved, which are comparable to the state-of-the-art, which achieves 87% (10 users) and 94% (single user), while using a TCN-based network that is 7500x smaller than the state-of-the-art. Furthermore, the gesture recognition classifier has been implemented on a Parallel Ultra-Low Power Processor, demonstrating that real-time prediction is feasible with only 21 mW of power consumption for the full TCN sequence prediction network, while a system-level power consumption of less than 100 mW is achieved. We provide open-source access to all the code and data collected and used in this work on tinyradar.ethz.ch.

研究の動機と目的

• 短距離レーダーセンサを用いて、バッテリー駆動のウェアラブルデバイス向けに低消費電力で高精度なジェスチャー認識システムを開発すること。
• メモリや電力が制限されたリソース制約のある埋め込みプラットフォームに、複雑なディープラーニングモデルを導入する課題に対処すること。
• 高精度な分類性能を維持しつつ、超低消費電力マイコン上でリアルタイムの推論を実現すること。
• 再現性や今後の研究を支援するため、データセットとコードを含むスケーラブルでオープンソースのソリューションを提供すること。

提案手法

• 短距離レーダー信号から距離-Doppler特徴を抽出し、2次元入力形式で空間的情報を表現する。
• 2次元畳み込みニューラルネットワーク（CNN）を適用して、距離-Dopplerマップからの空間的パターンを抽出する。
• 時系列畳み込みニューラルネットワーク（TCN）を統合し、時間フレーム間の順序的ダイナミクスをモデリングする。
• 最小限のモデルサイズ（46,000パラメータ、92 KB）と低推論エネルギーを実現するため、統合されたCNN-TCNアーキテクチャを最適化する。
• 8コア、100 MHzで動作するGAP8の超低消費電力プロセッサ上に、全ネットワークを実装し、21 mWの推論消費電力を達成する。
• 一般化性能の向上を図るため、データ拡張と交差検証戦略を用い、26名の異なるユーザーをカバーする。

実験結果

リサーチクエスチョン

• RQ1 コンパクトなCNN-TCNアーキテクチャは、92 KBのメモリ制約内で高精度なレーダー基盤ジェスチャー認識を達成できるか？
• RQ2 同じデータセット上で、提案手法のTinyRadarNNは、最先端のモデルと比較して、ユーザー間一般化性能に優れているか？
• RQ3 レーダーセンサと超低消費電力マイコンを組み合わせた状態で、リアルタイムのジェスチャー認識の実現可能なエネルギー効率はどの程度か？
• RQ4 埋め込みプラットフォーム上での精度とエネルギー効率の観点から、TCNベースの時系列モデルはLSTMベースのモデルを上回るか、同等の性能を発揮できるか？
• RQ5 最小限のハードウェアフットプリントで、レーダーセンシングを用いたバッテリー駆動ウェアラブルデバイス上でリアルタイム推論を実現できるか？

主な発見

• TinyRadarNNモデルは、1ユーザー設定では92.4%の精度、26ユーザーの交差検証では86.6%の精度を達成し、最先端のモデルと同等の性能を示した。
• モデルサイズはわずか92 KB（46,000パラメータ）であり、GPUを用いた最先端モデルと比較して7,500倍も小さい。
• TCNベースの全推論ネットワークは、GAP8プロセッサ上でわずか21 mWの消費電力で動作し、バッテリー駆動デバイスでのリアルタイム動作を可能にした。
• 1つのレーダーセンサを160 Hzで動作させた場合のシステム全体の消費電力は115 mWにまで低下し、従来のGPUベースのシステムと比較して顕著に低減された。
• 実装結果から、超低消費電力の埋め込みプラットフォーム上で、最小限のエネルギーオーバーヘッドでリアルタイムのジェスチャー認識が実現可能であることが示された。
• 研究者は26名のユーザーから得た20,210件のジェスチャーインスタンプを含む大規模データセットを公開し、reproducibilityと今後の研究を支援するため、tinyradar.ethz.chでコードをオープンソース化した。