[논문 리뷰] NeckSense: A Multi-Sensor Necklace for Detecting Eating Activities in Free-Living Conditions

Shibo Zhang, Yuqi Zhao외 5명|arXiv (Cornell University)|2019. 11. 17.

Eating Disorders and BehaviorsPsychology참고 문헌 50인용 수 20

한 줄 요약

NeckSense는 근접도, 환경 조도, 자이로스코프 및 가속도계(IMU) 센서를 활용해 자유 생활 조건에서 음식 섭취 활동을 비침습적으로 탐지하는 다중 센서 네크리스이다. 씹는 행동 시퀀스와 식사 제스처를 식별하며, 탐색 연구에서는 음식 섭취 기록 검출에 F1 스코어 81.6%를, 전일 자유 생활 환경에서는 77.1%를 기록했으며, 배터리 수명은 15.8시간 이상이다.

ABSTRACT

We present the design, implementation, and evaluation of a multi-sensor low-power necklace 'NeckSense' for automatically and unobtrusively capturing fine-grained information about an individual's eating activity and eating episodes, across an entire waking-day in a naturalistic setting. The NeckSense fuses and classifies the proximity of the necklace from the chin, the ambient light, the Lean Forward Angle, and the energy signals to determine chewing sequences, a building block of the eating activity. It then clusters the identified chewing sequences to determine eating episodes. We tested NeckSense with 11 obese and 9 non-obese participants across two studies, where we collected more than 470 hours of data in naturalistic setting. Our result demonstrates that NeckSense enables reliable eating-detection for an entire waking-day, even in free-living environments. Overall, our system achieves an F1-score of 81.6% in detecting eating episodes in an exploratory study. Moreover, our system can achieve a F1-score of 77.1% for episodes even in an all-day-around free-living setting. With more than 15.8 hours of battery-life NeckSense will allow researchers and dietitians to better understand natural chewing and eating behaviors, and also enable real-time interventions.

연구 동기 및 목표

• 자연스러운 환경에서 하루 종일 지속 가능한 음식 섭취 활동 탐지를 위한 저전력, 비침습적 웨어러블 기기 개발
• 기존 기기들이 침습적이거나 장기적 검증이 부족하거나 동질적인 인구 집단에서만 테스트된다는 한계를 해결하기 위해
• 비만이 있는 사람과 없는 사람을 포함한 다양한 인구 집단에서 음식 섭취 기록을 정확하게 탐지할 수 있도록 하기 위해
• 씹는 행동과 식사 행동을 지속적이고 신뢰성 있게 모니터링함으로써 실시간 행동 간섭을 지원하기 위해
• 미래의 음식 섭취 행동 모니터링 연구를 위해 공개된 고품질의 데이터셋을 구축하고, 영상 검증 기반 참값을 제공하기 위해

제안 방법

• NeckSense 네크리스는 턱과의 거리를 측정하기 위한 근접도 센서, 입 근처의 조도를 감지하기 위한 환경 조도 센서, 머리 움직임과 앞으로 기울이는 각도를 측정하기 위한 IMU 센서를 통합한다.
• 씹는 행동 시퀀스는 근접도, 조도, IMU 센서의 특징을 융합하여 식별하며, 분류에는 기울기 부스팅 모델(GBM)을 사용한다.
• 식사 제스처는 머리가 앞으로 기울이는 각도(LFA)를 통해 탐지되며, 이는 음식을 입에 가져오는 행동과 관련이 있다.
• 시스템은 시간적 근접성과 행동 일관성을 기반으로 탐지된 씹는 행동 시퀀스를 별개의 음식 섭취 기록으로 군집화한다.
• 전력 소비를 최소화하기 위해 센서 데이터는 실시간으로 처리되어 한 번의 충전으로 15.8시간 이상의 연속 작동이 가능하다.
• 검증은 어깨에 장착된 카메라와 자기 기록한 식사 일지 자료를 활용하며, 영상 데이터의 전문가 레이블링을 통해 참값을 확립한다.

실험 결과

연구 질문

• RQ1 다중 센서 네크리스는 다양한 개인이 포함된 자유 생활 조건에서 씹는 행동 시퀀스와 음식 섭취 기록을 신뢰성 있게 탐지할 수 있는가?
• RQ2 장기간 전일 모니터링과 비교해 짧은 간헐적 연구에서 NeckSense의 성능은 어떻게 달라지는가?
• RQ3 체질량 지수(BMI)가 다양할 경우, 비만 및 비비만 참가자를 포함해 시스템의 일반화 능력은 어느 정도인가?
• RQ4 근접도, 조도, IMU 센서의 융합이 단일 센서 접근 방식에 비해 탐지 정확도에 어떤 영향을 미치는가?
• RQ5 실생활 환경에서 단일 충전으로 15시간 이상 작동하면서도 높은 정확도를 유지를 할 수 있는가?

주요 결과

• 탐색적이고 부분적으로 자유 생활 조건에서 실시한 연구에서 NeckSense는 음식 섭취 기록 검출에 F1 스코어 81.6%를 기록했다.
• 완전히 자유 생활 조건에서 하루 종일 시행한 연구에서는 음식 섭취 기록 검출에 F1 스코어 77.1%를 유지했다.
• 초 단위 해상도에서 씹는 행동 시퀀스 탐지에 F1 스코어 73.7%를 기록하여 미세한 시간 해상도에서도 높은 정확도를 입증했다.
• NeckSense는 한 번의 충전으로 평균 15.8시간 동안 참가자를 지속적으로 모니터링하여 하루 종일 연속 데이터 수집이 가능했다.
• 2주간 20명의 참가자로부터 수집된 데이터셋은 자동차에서 식사하거나, 몸을 굽히며 식사하거나, 대화를 하면서 식사하는 등 다양한 식사 상황을 포함하여 풍부한 실제 생활 행동 데이터를 제공한다.
• 비만 및 비비만 참가자를 모두 포함한 결과는 시스템이 다양한 체형과 식사 행동에 걸쳐 일반화 가능함을 입증했다.