[論文レビュー] NeckSense: A Multi-Sensor Necklace for Detecting Eating Activities in Free-Living Conditions

Shibo Zhang, Yuqi Zhao+5 more|arXiv (Cornell University)|Nov 17, 2019

Eating Disorders and BehaviorsPsychology参考文献 50被引用数 20

ひとこと要約

NeckSenseは、近接センサ、環境光センサ、IMUセンサを統合したマルチセンサーネックレスであり、自由な生活状況下で食事行動を非挿入的かつ長時間にわたり検出する。噛み砕きのシーケンスと食事動作を特定するために、近接、環境光、IMUの各センサを用い、探索的スタディでは食事エピソード検出のF1スコアが81.6%、1日中自由に活動する状況下では77.1%を達成。バッテリ駆動時間は15.8時間以上を実現。

ABSTRACT

We present the design, implementation, and evaluation of a multi-sensor low-power necklace 'NeckSense' for automatically and unobtrusively capturing fine-grained information about an individual's eating activity and eating episodes, across an entire waking-day in a naturalistic setting. The NeckSense fuses and classifies the proximity of the necklace from the chin, the ambient light, the Lean Forward Angle, and the energy signals to determine chewing sequences, a building block of the eating activity. It then clusters the identified chewing sequences to determine eating episodes. We tested NeckSense with 11 obese and 9 non-obese participants across two studies, where we collected more than 470 hours of data in naturalistic setting. Our result demonstrates that NeckSense enables reliable eating-detection for an entire waking-day, even in free-living environments. Overall, our system achieves an F1-score of 81.6% in detecting eating episodes in an exploratory study. Moreover, our system can achieve a F1-score of 77.1% for episodes even in an all-day-around free-living setting. With more than 15.8 hours of battery-life NeckSense will allow researchers and dietitians to better understand natural chewing and eating behaviors, and also enable real-time interventions.

研究の動機と目的

• 自然環境下で1日中、一貫した食事行動を検出可能な低消費電力で非挿入的なウェアラブルデバイスの開発を目的とする。
• 従来のシステムが挿入的である、長期的検証が不十分である、または均質な集団でのみテストされているという限界を克服することを目的とする。
• 肥満あり・なしを問わず多様な集団に一般化可能な、正確な食事エピソードの検出を可能とすることを目的とする。
• 噛み砕きや食事行動の継続的かつ信頼性の高いモニタリングを可能とすることで、リアルタイムの行動介入を支援することを目的とする。
• 今後の食行動モニタリング研究のため、動画で検証された真値を含む公開可能で高品質なデータセットの構築を目的とする。

提案手法

• NeckSenseネックレスは、あごの距離を検出する近接センサ、口元への接近を検出する環境光センサ、頭部の動きと前方傾き角度を記録するIMUを統合している。
• 噛み砕きのシーケンスは、近接、光、IMUの各センサからの特徴を統合し、勾配ブースティングモデル（GBM）を用いて分類する。
• 食事動作は、前方傾き角度（LFA）を介して検出され、食事を口に運ぶ動作と相関する。
• 時間的近接性と行動の一貫性に基づいて、検出された噛み砕きのシーケンスを個別の食事エピソードにクラスタリングする。
• センサデータはリアルタイムで処理され、消費電力を最小限に抑えることで、1回の充電で15.8時間以上の連続稼働を実現している。
• 検証はショルダーカメラと自己記録の食事ログを用い、動画データの専門家ラベル付けにより真値を確立している。

実験結果

リサーチクエスチョン

• RQ1 多様な個人を対象とした自由な生活状況下で、マルチセンサーネックレスは噛み砕きのシーケンスおよび食事エピソードを信頼性高く検出できるか？
• RQ2 長期的で1日中継続するモニタリングと、短時間で間欠的な研究との比較において、NeckSenseの性能はどのように変化するか？
• RQ3 肥満あり・なしを含む、さまざまなBMIの個人にわたって、このシステムはどの程度一般化可能か？
• RQ4 近接、光、IMUのセンサ統合による検出精度は、単一センサ手法と比較してどの程度向上するか？
• RQ5 1回の充電で15時間以上稼働させながら、実世界の環境下でも高い精度を維持できるか？

主な発見

• 探索的で部分的に自由な生活状況下のスタディでは、NeckSenseは食事エピソード検出でF1スコア81.6%を達成した。
• 完全に自由な生活状況下で1日中継続するスタディでは、NeckSenseは依然として安定したF1スコア77.1%を達成した。
• 1秒ごとの解像度でも、噛み砕きのシーケンス検出でF1スコア73.7%を達成し、細粒度の時間分解能でも高い正確性を示した。
• NeckSenseは、1回の充電で平均15.8時間の連続監視を実現し、1日中継続的なデータ収集を可能にした。
• 2週間の期間、20名の参加者から収集されたデータセットには、車内で食事する、うつ伏せで食べる、会話しながら食べるなど、多様な食事シナリオが含まれており、実世界の行動データを豊富に提供している。
• 肥満あり・なしの両方の参加者を含めた結果から、多様な体型や食行動に一般化可能であることが示された。