[논문 리뷰] OESense

Dong Ma, Andrea Ferlini외 1명|arXiv (Cornell University)|2021. 05. 26.

Indoor and Outdoor Localization Technologies참고 문헌 34인용 수 5

한 줄 요약

OESense는 고막을 막는 현상과 내향식 마이크를 활용하여 강한 동작과 가벼운 동작을 높은 정확도로 감지하는 이어버드 내부 인간 운동 감지 시스템이다. 막힌 외이도 내에서 저주파수 뼈전도 음향을 증폭함으로써, 31명의 피험자 대상으로 걸음 수 세기에서 99.3%의 재현율, 활동 인식에서 98.3%, 손을 얼굴에 대는 제스처 감지에서 97.0%의 재현율을 달성한다.

ABSTRACT

Smart earbuds are recognized as a new wearable platform for personal-scale human motion sensing. However, due to the interference from head movement or background noise, commonly-used modalities (e.g. accelerometer and microphone) fail to reliably detect both intense and light motions. To obviate this, we propose OESense, an acoustic-based in-ear system for general human motion sensing. The core idea behind OESense is the joint use of the occlusion effect (i.e., the enhancement of low-frequency components of bone-conducted sounds in an occluded ear canal) and inward-facing microphone, which naturally boosts the sensing signal and suppresses external interference. We prototype OESense as an earbud and evaluate its performance on three representative applications, i.e., step counting, activity recognition, and hand-to-face gesture interaction. With data collected from 31 subjects, we show that OESense achieves 99.3% step counting recall, 98.3% recognition recall for 5 activities, and 97.0% recall for five tapping gestures on human face, respectively. We also demonstrate that OESense is compatible with earbuds' fundamental functionalities (e.g. music playback and phone calls). In terms of energy, OESense consumes 746 mW during data recording and recognition and it has a response latency of 40.85 ms for gesture recognition. Our analysis indicates such overhead is acceptable and OESense is potential to be integrated into future earbuds.

연구 동기 및 목표

• 기존의 가속도계와 마이크로폰이 이어버드에서 강한 동작과 가벼운 동작을 감지하는 데 한계를 보이는 문제를 해결하기 위해.
• 음향 기반 운동 감지에서 낮은 신호 대 잡음비(SNR)와 환경 간섭 문제를 극복하기 위해.
• 기존 이어버드 기능과 호환되는 견고하고, 저지연, 저에너지 소비의 이어버드 내부 감지 시스템을 개발하기 위해.
• 걷기, 씹기, 얼굴에 손 대는 제스처 등 다양한 활동에서 신뢰할 수 있는 인간 운동 감지 기능을 제공하기 위해.
• 상용 이어버드에 통합할 수 있는 가능성을 탐색하기 위해.

제안 방법

• OESense는 외부 음향 노이즈를 자연스럽게 억제하는 내향식 마이크를 사용하여 외이도 내부의 뼈전도 음향 신호를 캡처한다.
• 이 시스템은 고막을 막을 때 저주파 성분이 증폭되는 고막을 막는 현상(occlusion effect)을 활용하여 약한 운동 신호를 증폭한다.
• 운동 분류를 위해 시간-주파수 분석과 기계학습 모델을 사용하여 이어버드 내부 음향 신호를 처리한다.
• 운동 아티팩트를 필터링하고 신호 대 잡음비를 향상시키기 위해 신호 처리 파이프라인을 통합하며, 외이도 내 음향 전파의 물리적 특성을 활용한다.
• 실시간 처리 기능을 갖춘 맞춤형 이어버드 하드웨어 플랫폼에 프로토타입을 구현한다.
• 전력 및 처리 부하를 효율적으로 관리함으로써 음악 재생 및 통화 기능과 같은 핵심 이어버드 기능과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 고막을 막는 현상이 외이도 내에서 낮은 진폭의 운동 신호를 신뢰성 있게 증폭하는 데 효과적으로 활용될 수 있는가?
• RQ2 기존의 IMU 및 마이크로폰 기반 시스템과 비교할 때, OESense는 강한 동작(예: 걷기)과 가벼운 동작(예: 터치)을 감지하는 데 얼마나 우수한 성능을 보이는가?
• RQ3 내향식 마이크로폰이 환경 노이즈와 머리 움직임으로 인한 간섭을 어느 정도 감소시키는가?
• RQ4 실제 이어버드 구현 환경에서 OESense의 실시간 성능과 에너지 소비는 어떠한가?
• RQ5 OESense는 기존 이어버드 플랫폼에 통합될 수 있으며, 핵심 기능의 성능 저하 없이 원활하게 통합될 수 있는가?

주요 결과

• OESense는 머리 움직임 조건 하에서 머리 운동에 영향을 받지 않고도 31명의 피험자 대상으로 걸음 수 세기에서 99.3%의 재현율을 달성하여 기존 가속도계 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 걷기, 달리기, 음료 마시기, 씹기, 정지 상태 등 다섯 가지 다른 활동에 대해 98.3%의 인식 재현율을 달성하여 다양한 운동 강도에 대비한 강건성을 입증했다.
• 손을 얼굴에 대는 제스처 상호작용에 대해 OESense는 얼굴에 다섯 가지 다른 타격 제스처를 감지하는 데 97.0%의 재현율을 기록했으며, 외부 마이크에 의존하는 시스템보다 뛰어난 성능을 보였다.
• 제스처 인식에 대해 40.85ms의 반응 지연을 보이며 실시간에 가까운 상호작용이 가능해 실용적 응용에 적합하다.
• 운영 중 전력 소모는 746mW이며, 분석 결과 이 전력 오버헤드는 상용 이어버드에 통합하는 데 수용 가능한 수준임을 확인했다.
• 음악 재생 및 통화 기능과 같은 표준 이어버드 기능과의 호환성을 유지함으로써 실용적인 구현 가능성은 확인되었다.