[논문 리뷰] Implementation Of Tiny Machine Learning Models On Arduino 33 BLE For Gesture And Speech Recognition

V Viswanatha, A C Ramachandra외 4명|arXiv (Cornell University)|2022. 07. 23.

Hand Gesture Recognition Systems인용 수 9

한 줄 요약

이 논문은 EdgeImpulse를 사용하여 모델을 훈련하고 최적화함으로써, 실시간 손동작 및 음성 인식을 위한 온디바이스 추론을 사용하여 아두이노 나노 33 블루투스 레드 엣지에서 틴미 씨모델을 구현하는 것을 제시한다. 시스템은 손동작 감지를 위해 6축 인ert리얼 측정 장치(IMU)를 사용하고, 키워드 인식을 위해 내장 마이크를 사용하며, 낮은 전력 소비와 반응성이 뛰어난 RGB 피드백을 통해 실시간 분류를 달성한다.

ABSTRACT

In this article gesture recognition and speech recognition applications are implemented on embedded systems with Tiny Machine Learning (TinyML). It features 3-axis accelerometer, 3-axis gyroscope and 3-axis magnetometer. The gesture recognition,provides an innovative approach nonverbal communication. It has wide applications in human-computer interaction and sign language. Here in the implementation of hand gesture recognition, TinyML model is trained and deployed from EdgeImpulse framework for hand gesture recognition and based on the hand movements, Arduino Nano 33 BLE device having 6-axis IMU can find out the direction of movement of hand. The Speech is a mode of communication. Speech recognition is a way by which the statements or commands of human speech is understood by the computer which reacts accordingly. The main aim of speech recognition is to achieve communication between man and machine. Here in the implementation of speech recognition, TinyML model is trained and deployed from EdgeImpulse framework for speech recognition and based on the keywords pronounced by human, Arduino Nano 33 BLE device having built-in microphone can make an RGB LED glow like red, green or blue based on keyword pronounced. The results of each application are obtained and listed in the results section and given the analysis upon the results.

연구 동기 및 목표

• 틴미 씨를 사용하여 저전력 임베디드 시스템에서 실시간, 온디바이스 손동작 및 음성 인식을 가능하게 한다.
• 아두이노 나노 33 블루투스 레드 엣지와 같은 자원이 제한된 마이크로컨트롤러에 최적화된 머신러닝 모델을 배포할 수 있는 가능성을 입증한다.
• 손동작 인식을 통한 비언어적 인간-컴퓨터 상호작용과 음성 인식을 통한 키워드 트리거드 반응을 지원한다.
• 최소한의 지연과 전력 소비로 임베디드 응용 프로그램에서 틴미 씨 모델의 성능과 효율성을 검증한다.

제안 방법

• 손동작 및 음성 인식 작업을 위한 틴미 씨 모델의 훈련 및 최적화를 EdgeImpulse 플랫폼을 사용하여 수행한다.
• 손동작 데이터를 캡처하기 위해 3축 가속도계, 자이로스코프, 자석계를 포함한 6축 인ert리얼 측정 장치(IMU)를 활용한다.
• 아두이노 나노 33 블루투스 레드 엣지에 내장된 마이크를 사용하여 인간의 음성 입력을 캡처하고 처리한다.
• 정량화된 최적화된 머신러닝 모델을 아두이노 나노 33 블루투스 레드 엣지 마이크로컨트롤러에 직접 배포하여 온디바이스 추론을 수행한다.
• 감지된 손동작 또는 키워드가 정의된 RGB LED 반응(빨강, 초록, 파랑)을 트리거하는 실시간 분류를 구현한다.
• 클라우드 의존 없이 마이크로컨트롤러에서 완전히 추론이 수행되어 낮은 지연과 프라이버시를 보장한다.

실험 결과

연구 질문

• RQ1 아두이노 나노 33 블루투스 레드 엣지에서 IMU 데이터를 사용하여 실시간 손동작 인식을 위한 틴미 씨 모델을 효과적으로 훈련하고 구현할 수 있는가?
• RQ2 낮은 지연과 높은 정확도로 동일한 저전력 마이크로컨트롤러에서 키워드 기반 음성 인식을 달성할 수 있는가?
• RQ3 실제 임베디드 환경에서의 추론 속도, 전력 소비 및 반응성 측면에서 시스템의 성능은 어떠한가?
• RQ4 EdgeImpulse는 임베디드 손동작 및 음성 인식을 위한 엔드 투 엔드 틴미 씨 파이프라인을 어떻게 효과적으로 지원하는가?
• RQ5 특정 손동작과 말된 키워드를 실시간으로 구분하여 고유한 출력 동작(예: RGB LED 색상 변경)으로 매핑할 수 있는가?

주요 결과

• 6축 IMU 데이터를 사용하여 아두이노 나노 33 블루투스 레드 엣지에서 손동작 이동을 실시간으로 성공적으로 분류하였으며, 낮은 지연으로 반응하였다.
• 내장 마이크를 사용하여 음성 인식 모델이 정확한 키워드 검출을 달성하였고, 말된 명령어에 따라 정확한 RGB LED 반응을 트리거하였다.
• 모델이 외부 처리 없이 마이크로컨트롤러에 성공적으로 배포되어 온디바이스 추론 기능을 완전히 구현하였다.
• 낮은 전력 소비와 최소한의 지연을 달성하여 배터리 구동 및 실시간 인간-컴퓨터 상호작용 응용 분야에 적합하였다.
• EdgeImpulse 프레임워크는 효율적인 모델 훈련, 정량화 및 배포를 가능하게 하여 틴미 씨 파이프라인을 크게 단순화시켰다.
• 결과적으로, 저비용, 저전력 마이크로컨트롤러에서 실용적인 손동작 및 음성 인식 작업을 위한 틴미 씨의 실현 가능성을 확인하였다.