[논문 리뷰] TinyRadarNN: Combining Spatial and Temporal Convolutional Neural Networks for Embedded Gesture Recognition with Short Range Radars

Moritz Scherer, Michele Magno외 4명|arXiv (Cornell University)|2020. 06. 25.

Hand Gesture Recognition Systems참고 문헌 52인용 수 8

한 줄 요약

이 논문은 짧은 거리 레이더 데이터를 사용하여 공간적 특징을 2D CNN으로, 시간적 모델링을 TCN으로 처리하는 경량이며 저전력의 제스처 인식 시스템인 TinyRadarNN을 제안한다. 마이크로컨트롤러에서 92.4%의 정확도를 달성하며 모델 크기는 92 KB, 추론 전력은 21 mW에 불과하여 배터리 구동 웨어러블 기기용 실시간 임베디드 제스처 인식을 가능하게 한다.

ABSTRACT

This work proposes a low-power high-accuracy embedded hand-gesture recognition algorithm targeting battery-operated wearable devices using low power short-range RADAR sensors. A 2D Convolutional Neural Network (CNN) using range frequency Doppler features is combined with a Temporal Convolutional Neural Network (TCN) for time sequence prediction. The final algorithm has a model size of only 46 thousand parameters, yielding a memory footprint of only 92 KB. Two datasets containing 11 challenging hand gestures performed by 26 different people have been recorded containing a total of 20,210 gesture instances. On the 11 hand gesture dataset, accuracies of 86.6% (26 users) and 92.4% (single user) have been achieved, which are comparable to the state-of-the-art, which achieves 87% (10 users) and 94% (single user), while using a TCN-based network that is 7500x smaller than the state-of-the-art. Furthermore, the gesture recognition classifier has been implemented on a Parallel Ultra-Low Power Processor, demonstrating that real-time prediction is feasible with only 21 mW of power consumption for the full TCN sequence prediction network, while a system-level power consumption of less than 100 mW is achieved. We provide open-source access to all the code and data collected and used in this work on tinyradar.ethz.ch.

연구 동기 및 목표

• 짧은 거리 레이더 센서를 사용하여 배터리 구동 웨어러블 기기용 저전력, 고정확도의 제스처 인식 시스템을 개발한다.
• 메모리와 전력이 제한된 자원이 부족한 임베디드 플랫폼에 복잡한 딥러닝 모델을 구현하는 데 도전한다.
• 높은 분류 정확도를 유지하면서도 초저전력 마이크로컨트롤러에서 실시간 추론을 가능하게 한다.
• 재현성과 임베디드 레이더 기반 HCI 분야의 향후 연구를 지원하기 위해 데이터셋과 코드를 포함한 확장 가능한 오픈소스 솔루션을 제공한다.

제안 방법

• 레이더 신호에서 범위-도플러 특징을 추출하여 2차원 입력 형식으로 공간 정보를 표현한다.
• 2D 컨volution 신경망(CNN)을 적용하여 범위-도플러 맵으로부터 공간 패턴을 추출한다.
• 시간 프레임 간의 순차적 동역학을 모델링하기 위해 시간 컨volution 신경망(TCN)을 통합한다.
• 최소한의 모델 크기(46,000 파라미터, 92 KB)와 낮은 추론 에너지를 확보하기 위해 통합된 CNN-TCN 아키텍처를 최적화한다.
• 8개 코어, 100 MHz에서 동작하는 GAP8 초저전력 프로세서를 사용하여 전체 네트워크를 구현하였으며, 21 mW의 추론 전력 소비를 달성하였다.
• 일반화 성능 향상을 위해 데이터 증강 및 교차검증 전략을 활용하여 26명의 다양한 사용자에 대해 테스트하였다.

실험 결과

연구 질문

• RQ1 작은 크기의 CNN-TCN 아키텍처가 92 KB 이내 메모리에 수용되면서도 레이더 기반 제스처 인식에서 높은 정확도를 달성할 수 있는가?
• RQ2 제시된 TinyRadarNN는 동일한 데이터셋에서 최신 기술 수준의 모델과 비교해 다수 사용자 간 일반화 성능에서 어떤가?
• RQ3 레이더 센서와 초저전력 마이크로컨트롤러를 사용할 때 실시간 제스처 인식의 구현 가능한 에너지 효율성은 어느 정도인가?
• RQ4 임베디드 플랫폼에서 TCN 기반 시간 모델이 LSTM 기반 모델에 비해 정확도와 에너지 효율성 측면에서 얼마나 뛰어나거나 동등한 성능을 낼 수 있는가?
• RQ5 최소한의 하드웨어 프로파일을 가진 시스템이 레이더 센싱을 활용해 배터리 구동 웨어러블 기기에서 실시간 추론을 달성할 수 있는가?

주요 결과

• TinyRadarNN 모델은 단일 사용자 설정에서는 92.4%의 정확도를, 26명 사용자에 대한 교차검증에서는 86.6%의 정확도를 기록하여 최신 기술 수준의 모델과 유사한 성능을 보였다.
• 모델 크기는 단지 92 KB(46,000 파라미터)이며, GPU를 사용하는 최신 기술 수준의 모델보다 7,500배 작다.
• 전체 TCN 기반 추론 네트워크는 GAP8 프로세서에서 21 mW의 전력 소비만으로도 작동하여 배터리 구동 기기에서 실시간 운영이 가능하다.
• 시스템 수준의 전력 소비는 레이더 센서 1개를 160 Hz에서 작동시킬 경우 115 mW로 감소하였으며, 이는 이전의 GPU 기반 시스템보다 현저히 낮다.
• 이 구현은 초저전력 임베디드 플랫폼에서 최소한의 에너지 오버헤드로 실시간 제스처 인식이 가능하다는 것을 입증한다.
• 저자들은 26명의 사용자로부터 수집한 총 20,210개의 제스처 인스턴스를 포함한 대규모 데이터셋과 tinyradar.ethz.ch에서 오픈소스 코드를 공개하여 재현성과 향후 연구를 지원한다.