[論文レビュー] Implementation Of Tiny Machine Learning Models On Arduino 33 BLE For Gesture And Speech Recognition

V Viswanatha, A C Ramachandra+4 more|arXiv (Cornell University)|Jul 23, 2022

Hand Gesture Recognition Systems被引用数 9

ひとこと要約

この論文では、TinyMLモデルをArduino Nano 33 BLEにデプロイし、オンデバイス推論を用いてリアルタイムのジェスチャーおよび音声認識を実現する手法を提示している。EdgeImpulseを活用してモデルのトレーニングと最適化を行い、ジェスチャー検出には6軸IMU、音声認識には組み込みマイクを用い、低消費電力で応答性の高いRGBフィードバックを実現したリアルタイム分類を達成した。

ABSTRACT

In this article gesture recognition and speech recognition applications are implemented on embedded systems with Tiny Machine Learning (TinyML). It features 3-axis accelerometer, 3-axis gyroscope and 3-axis magnetometer. The gesture recognition,provides an innovative approach nonverbal communication. It has wide applications in human-computer interaction and sign language. Here in the implementation of hand gesture recognition, TinyML model is trained and deployed from EdgeImpulse framework for hand gesture recognition and based on the hand movements, Arduino Nano 33 BLE device having 6-axis IMU can find out the direction of movement of hand. The Speech is a mode of communication. Speech recognition is a way by which the statements or commands of human speech is understood by the computer which reacts accordingly. The main aim of speech recognition is to achieve communication between man and machine. Here in the implementation of speech recognition, TinyML model is trained and deployed from EdgeImpulse framework for speech recognition and based on the keywords pronounced by human, Arduino Nano 33 BLE device having built-in microphone can make an RGB LED glow like red, green or blue based on keyword pronounced. The results of each application are obtained and listed in the results section and given the analysis upon the results.

研究の動機と目的

• TinyMLを用いて、低消費電力の組み込みシステム上でリアルタイムでオンデバイスでのジェスチャーおよび音声認識を可能にすること。
• Arduino Nano 33 BLEのようなリソース制限のあるマイコンに最適化された機械学習モデルをデプロイする可能性を実証すること。
• 手のジェスチャー認識と音声認識によるキーワードトリガーを用いた非言語的ヒューマンコンピュータインタラクションを支援すること。
• 最小限の遅延と消費電力で、組み込みアプリケーションにおけるTinyMLモデルの性能と効率を検証すること。

提案手法

• ジェスチャー認識および音声認識の両タスクに対して、EdgeImpulseプラットフォームを用いたTinyMLモデルのトレーニングと最適化。
• 3軸加速度計、ジャイロスコープ、磁気センサを備えた6軸インertial measurement unit (IMU) を用いて、手の動きのデータを取得。
• Arduino Nano 33 BLEに内蔵されたマイクを活用し、人の発話入力を収集および処理。
• 量子化され最適化された機械学習モデルを、Arduino Nano 33 BLEマイコンに直接デプロイし、オンデバイス推論を実現。
• 検出されたジェスチャーまたはキーワードが、事前に定義されたRGB LEDの応答（赤、緑、青）をトリガーするリアルタイム分類の実装。
• クラウド依存なしにマイコン上で完全に推論が実行され、低遅延とプライバシー保護を実現。

実験結果

リサーチクエスチョン

• RQ1 6軸IMUデータを用いて、Arduino Nano 33 BLE上でTinyMLモデルを効果的にトレーニングおよびデプロイし、リアルタイムのジェスチャー認識を実現できるか？
• RQ2 同じ低消費電力マイコン上で、最小限の遅延と高い正確性でキーワードベースの音声認識を達成できるか？
• RQ3 実世界の組み込みデプロイにおいて、推論速度、消費電力、応答性の観点で、このシステムはどのように性能を発揮するか？
• RQ4 EdgeImpulseは、組み込みジェスチャーおよび音声認識のエンドツーエンドのTinyMLパイプラインをどのように効率的に可能にしているか？
• RQ5 特定のジェスチャーおよび発話されたキーワードを、リアルタイムで明確に異なる出力アクション（例：RGB LEDの色変更）にマッピングできるか？

主な発見

• 6軸IMUデータを用いたジェスチャー認識システムは、Arduino Nano 33 BLE上で低遅延応答を実現し、手の動きをリアルタイムで正しく分類した。
• 音声認識モデルは、内蔵マイクを用いて正確なキーワード検出を達成し、発話されたコマンドに応じて正しいRGB LEDの応答を発生させた。
• 両モデルとも外部処理を一切用いずにマイコン上にデプロイされ、完全なオンデバイス推論の能力を実証した。
• システムは低消費電力と最小限の遅延を達成しており、バッテリー駆動やリアルタイムヒューマンコンピュータインタラクション用途に適していた。
• EdgeImpulseフレームワークは、効率的なモデルトレーニング、量子化、デプロイを可能にし、TinyMLパイプラインを著しく簡素化した。
• 結果として、低コストで低消費電力なマイコン上で実用的なジェスチャーおよび音声認識タスクにTinyMLを活用することが可能であることが確認された。