[논문 리뷰] MeciFace: Mechanomyography and Inertial Fusion-based Glasses for Edge Real-Time Recognition of Facial and Eating Activities

Hymalai Bello, Sungho Suh외 2명|arXiv (Cornell University)|2023. 06. 19.

Color perception and designPsychology인용 수 3

한 줄 요약

MeciFace는 저전력이며 프라이버시를 고려한 웨어러블 안경 시스템으로, 기계음악학(MMG)과 관성 센서 데이터를 융합하여 실시간으로 얼굴 표정과 식사/음료 섭취 활동을 인식한다. TensorFlow Lite for Microcontrollers를 통해 경량 신경망을 구현하여, 얼굴 표정 인식의 F1 스코어가 86% 이상, 식사/음료 감지의 F1 스코어가 90%에 이를 정도로 높은 성능을 달성했으며, 예측되지 않은 사용자에게도 적용 가능하고 전력 소모는 0.55W 이하이다.

ABSTRACT

The increasing prevalence of stress-related eating behaviors and their impact on overall health highlights the importance of effective and ubiquitous monitoring systems. In this paper, we present MeciFace, an innovative wearable technology designed to monitor facial expressions and eating activities in real-time on-the-edge (RTE). MeciFace aims to provide a low-power, privacy-conscious, and highly accurate tool for promoting healthy eating behaviors and stress management. We employ lightweight convolutional neural networks as backbone models for facial expression and eating monitoring scenarios. The MeciFace system ensures efficient data processing with a tiny memory footprint, ranging from 11KB to 19 KB. During RTE evaluation, the system achieves an F1-score of < 86% for facial expression recognition and 94% for eating/drinking monitoring, for the RTE of unseen users (user-independent case).

연구 동기 및 목표

• 실시간 얼굴 표정 및 식사 행동 모니터링을 위한 저전력이며 프라이버시를 고려한 웨어러블 시스템 개발
• 외부 기기에 의존하지 않고 마이크로컨트롤러에서 실시간 엣지 추론을 가능하게 하여 지연과 메모리 사용량을 줄임
• 최소한의 간섭을 주는 형태의 소형 기기에서 다중 센서 융합을 통해 스트레스 관련 식사 행동을 탐지하는 과제 해결
• 최소한의 하드웨어 프로파일을 가진 임베디드 딥 러닝의 실현 가능성을 입증
• 다양한 감각 모달리티를 통합하여 정서적 식사 행동의 맥락 기반 모니터링 기반 마련

제안 방법

• 스마트 안경의 땀샘과 코 브릿지에 내장된 센서로부터 기계음악학(MMG)과 관성측정장치(IMU) 신호를 융합
• 계층적 다중모달 융합 전략 적용: 1단계는 MMG를 사용해 비공백 얼굴 동작 또는 식사/음료 행동을 탐지하고, 2단계는 IMU 데이터를 활용해 세분화된 분류 수행
• 마이크로컨트롤러 최적화를 위해 TensorFlow Lite for Microcontrollers를 사용한 경량 컨volution 신경망(CNN)을 백본 모델로 배치
• 신호 지속 시간을 일관된 입력으로 정규화하기 위해 동적 리샘플링 기법 적용 — 프로토타입에서는 선형 기반, 훈련에서는 푸리에 기반
• 6개의 표정(예: 기쁨, 분노)과 2개의 제스처(식사, 음료 섭취)에 더해 null/중립 클래스를 포함한 얼굴 근육 활동 사전 정의
• 향후 확장성을 위해 기압계, 가스 센서, 마이크로폰과 같은 추가 센서 통합을 통해 스트레스 유발 식사 에피소드 탐지에 위한 맥락 정보 풍부화

실험 결과

연구 질문

• RQ1 웨어러블 안경 시스템이 MMG와 관성 센서만을 사용하여 실시간으로 얼굴 표정과 식사 활동을 엣지에서 인식할 수 있는가?
• RQ2 MMG와 IMU 데이터의 계층적 다중모달 융합 전략은 정확도 향상과 전력 소모 최소화 측면에서 얼마나 효과적인가?
• RQ3 마이크로컨트롤러에 배치된 경량 신경망이 메모리 프로파일을 <20KB로 최소화하면서도 높은 성능을 달성할 수 있는가?
• RQ4 실시간 엣지 추론 환경에서 예측되지 않은 사용자에게도 시스템이 얼마나 잘 일반화되는가?
• RQ5 기압계, 가스 센서, 마이크로폰과 같은 추가 센서를 통한 시스템 확장은 정서적 식사 행동의 맥락 탐지 잠재력 측면에서 어떤가?

주요 결과

• MeciFace 시스템은 실시간 엣지 추론에서도 얼굴 표정 인식에 대해 F1 스코어 ≥86%, 식사/음료 모니터링에 대해 90%를 달성했으며, 예측되지 않은 사용자에게도 적용 가능하다.
• 효율적인 하드웨are-소프트웨어 공동 설계와 경량 신경망을 통해 전력 소모를 0.55W 이하로 유지한다.
• 오프라인 테스트 대비 실시간 엣지 추론에서 F1 스코어가 10% 감소한 것으로 관측되었으며, 주로 프로토타입에서 사용된 단순화된 선형 기반 동적 리샘플링이 훈련 시 사용된 푸리에 기반 리샘플링과 대비해 성능 저하를 유발한 것으로 분석됨.
• 계층적 융합 전략은 에너지 소비를 크게 감소시키고, 비관련 신호를 파ip라인 초기 단계에서 걸러내어 중립/공백 클래스에 대한 강건성을 향상시킨다.
• 마이크로컨트롤러에 메모리 프로파일이 11KB에서 19KB 사이로 유지되는 임베디드 딥 러닝 모델의 구현 가능성을 입증한다.
• 향후 기압계, 가스 센서, 마이크로폰 통합은 실현 가능하며, 스트레스 유발 식사 행동 탐지에 대한 맥락 인식 능력을 향상시킬 수 있다.