[論文レビュー] MeciFace: Mechanomyography and Inertial Fusion-based Glasses for Edge Real-Time Recognition of Facial and Eating Activities

Hymalai Bello, Sungho Suh+2 more|arXiv (Cornell University)|Jun 19, 2023

Color perception and designPsychology被引用数 3

ひとこと要約

MeciFaceは、機械的筋電図（MMG）とインertialセンサデータを融合させることで、リアルタイムかつエッジで顔の表情や食事・飲酒行動を認識する低消費電力でプライバシーを守るウェアラブルグラスシステムである。TensorFlow Lite for Microcontrollersを用いて軽量ニューラルネットワークをデプロイすることで、顔の表情認識で≥86%のF1スコア、食事・飲酒検出で90%のF1スコアを達成し、未学習のユーザーに対しても同様の性能を発揮する。消費電力は0.55W未満に抑えられる。

ABSTRACT

The increasing prevalence of stress-related eating behaviors and their impact on overall health highlights the importance of effective and ubiquitous monitoring systems. In this paper, we present MeciFace, an innovative wearable technology designed to monitor facial expressions and eating activities in real-time on-the-edge (RTE). MeciFace aims to provide a low-power, privacy-conscious, and highly accurate tool for promoting healthy eating behaviors and stress management. We employ lightweight convolutional neural networks as backbone models for facial expression and eating monitoring scenarios. The MeciFace system ensures efficient data processing with a tiny memory footprint, ranging from 11KB to 19 KB. During RTE evaluation, the system achieves an F1-score of < 86% for facial expression recognition and 94% for eating/drinking monitoring, for the RTE of unseen users (user-independent case).

研究の動機と目的

• 顔の表情と食行動のリアルタイム監視を実現する低消費電力でプライバシーに配慮したウェアラブルシステムの開発。
• 外部デバイスに依存せずマイコン上でエッジ推論を実現し、遅延とメモリ使用量を低減すること。
• 最小限に侵襲的なフォームファクタで、マルチモーダルセンサ融合を用いてストレス関連の食行動を検出する課題に取り組むこと。
• 最小限のハードウェアフットプリントで埋め込みディープラーニングの実現可能性を示すこと。
• 複数のセンシングモダリティを統合することで、感情的食行動の文脈的モニタリングの基盤を築くこと。

提案手法

• スマートグラスの temples および鼻梁部に埋め込まれたセンサから得られる機械的筋電図（MMG）およびインertial測定ユニット（IMU）信号を統合する。
• 階層的マルチモーダル統合戦略を採用：第1段階ではMMGを用いて顔の筋肉活動や食事・飲酒行動の非ゼロ検出を実施。第2段階ではIMUデータを用いて詳細分類を実行。
• マイコン向け最適化を施した軽量畳み込みニューラルネットワーク（CNN）をバックボーンモデルとして採用。TensorFlow Lite for Microcontrollersを活用。
• 動的リサンプリング技術を適用：プロトタイプでは線形ベース、トレーニングではフーリエベースを採用し、ニューラルネットワークへの入力の一貫性を確保。
• 6つの表情（例：喜び、怒り）と2つのジェスチャー（食事、飲酒）に加え、ヌル/ニュートラルクラスを含む顔の筋肉活動辞書を定義。
• 今後の拡張として気圧計、ガスセンサ、マイクを統合し、ストレス誘発食行動の検出に向けた文脈的情報を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルグラスシステムが、MMGとインertialセンサのみを用いて、顔の表情と食事行動のリアルタイムかつエッジでの認識を達成できるか？
• RQ2 MMGとIMUデータの階層的マルチモーダル統合は、認識精度の向上と消費電力の低減を両立できるか？
• RQ3 マイコン上にデプロイされた軽量ニューラルネットワークは、メモリフットプリントを20KB未満に抑えた上で、どれほど高い性能を発揮できるか？
• RQ4 リアルタイムエッジ推論環境において、未学習のユーザーに一般化できる程度はどの程度か？
• RQ5 気圧計、ガスセンサ、マイクなどの追加センサを統合することで、感情的食行動の文脈的検出の可能性はどの程度高まるか？

主な発見

• MeciFaceシステムは、未学習ユーザーに対してもリアルタイムエッジ推論で顔の表情認識に≥86%のF1スコア、食事・飲酒モニタリングに90%のF1スコアを達成。
• 効率的なハードウェア・ソフトウェア共同最適化と軽量ニューラルネットワークの採用により、消費電力は0.55W未満を維持。
• オフラインとリアルタイムエッジ推論の間でF1スコアに10%の低下が観察されたが、これは主にプロトタイプで採用された簡素化された線形ベースの動的リサンプリング（トレーニングではフーリエベース）に起因する。
• 階層的統合アプローチにより、エネルギー消費量が顕著に低減され、ヌル/ニュートラルクラスに対するロバスト性が向上した。これはパイプラインの初期段階で関係のない信号をフィルタリングするためである。
• マイコン上でのメモリフットプリントが11KBから19KBの範囲に収まる埋め込みディープラーニングモデルの実装可能性が実証された。
• 今後の気圧計、ガスセンサ、マイクの統合は実現可能であり、ストレス関連の食行動検出に向けた文脈的認識の向上が期待できる。