[論文レビュー] OESense

Dong Ma, Andrea Ferlini+1 more|arXiv (Cornell University)|May 26, 2021

Indoor and Outdoor Localization Technologies参考文献 34被引用数 5

ひとこと要約

OESenseは、閉塞効果と内向きを向いたマイクロフォンを活用して、高精度に激しい運動および軽い運動を検出するイヤーバッグ内埋め込み型の人体運動センシングシステムである。閉塞された外耳道内で低周波数の骨伝導音を増幅することで、31名の被験者を対象に歩数カウントで99.3％の再現率、活動認識で98.3％、手から顔へのジェスチャー検出で97.0％の高い性能を達成した。

ABSTRACT

Smart earbuds are recognized as a new wearable platform for personal-scale human motion sensing. However, due to the interference from head movement or background noise, commonly-used modalities (e.g. accelerometer and microphone) fail to reliably detect both intense and light motions. To obviate this, we propose OESense, an acoustic-based in-ear system for general human motion sensing. The core idea behind OESense is the joint use of the occlusion effect (i.e., the enhancement of low-frequency components of bone-conducted sounds in an occluded ear canal) and inward-facing microphone, which naturally boosts the sensing signal and suppresses external interference. We prototype OESense as an earbud and evaluate its performance on three representative applications, i.e., step counting, activity recognition, and hand-to-face gesture interaction. With data collected from 31 subjects, we show that OESense achieves 99.3% step counting recall, 98.3% recognition recall for 5 activities, and 97.0% recall for five tapping gestures on human face, respectively. We also demonstrate that OESense is compatible with earbuds' fundamental functionalities (e.g. music playback and phone calls). In terms of energy, OESense consumes 746 mW during data recording and recognition and it has a response latency of 40.85 ms for gesture recognition. Our analysis indicates such overhead is acceptable and OESense is potential to be integrated into future earbuds.

研究の動機と目的

• イヤーバッグにおける激しい運動および軽い運動の両方を検出する伝統的な加速度計およびマイクロフォンの限界を克服すること。
• 音響ベースの運動センシングにおける低SNR（信号対雑音比）および環境ノイズの干渉を克服すること。
• 既存のイヤーバッグ機能と互換性があり、耐障害性が高く、低遅延かつ低消費電力なイヤーバッグ内埋め込み型センシングシステムを開発すること。
• 歩行、食事、顔に触れるジェスチャーなど、多様な活動において信頼性の高い人体運動センシングを実現すること。
• 商業的イヤーバッグへの統合可能性を検証し、外観や消費電力効率を損なわずに行えるかを検討すること。

提案手法

• OESenseは、内向きを向いたマイクロフォンを用いて外耳道内に存在する骨伝導音信号を捕捉し、自然に外部音響ノイズを低減する。
• 耳道が閉塞されることで低周波成分の骨伝導音が強化されるという閉塞効果を活用し、微弱な運動信号を増幅する。
• 時間周波数解析と機械学習モデルを用いてイヤーバッグ内音響信号を処理し、運動分類を実現する。
• 運動アーチファクトをフィルタリングしSNRを向上させる信号処理パイプラインを統合し、外耳道内音響伝播の物理的特性を活用する。
• リアルタイム処理能力を備えたカスタムイヤーバッグハードウェアプラットフォームにプロトタイプを実装する。
• 電力および処理負荷を効率的に管理することで、音楽再生や通話といった基本的なイヤーバッグ機能との互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 耳道内における低振幅運動信号の強化に、閉塞効果を効果的に活用できるか？
• RQ2 OESenseは、従来のIMUおよびマイクロフォンベースのシステムと比較して、激しい運動（例：歩行）および軽い運動（例：タップ）の両方をどの程度正確に検出できるか？
• RQ3 内向きを向いたマイクロフォンは、環境ノイズおよび頭部の動きからの干渉をどの程度低減できるか？
• RQ4 実際のイヤーバッグ展開環境において、OESenseのリアルタイム性能および消費電力はどの程度か？
• RQ5 OESenseは、既存のイヤーバッグプラットフォームにシームレスに統合可能か、コア機能の性能を損なわないか？

主な発見

• OESenseは31名の被験者を対象に、頭部の動きがある状況下でも従来の加速度計ベース手法を大きく上回る99.3％の歩数カウント再現率を達成した。
• 歩行、走行、飲酒、食事、静止状態の5つの異なる活動認識において98.3％の再現率を達成し、運動強度の違いを問わず高い耐障害性を示した。
• 手から顔へのジェスチャーインタラクションでは、顔に5種類のタップジェスチャーを検出する際、97.0％の再現率を達成し、外部マイクロフォンに依存するシステムを上回った。
• ジェスチャー認識における応答遅延は40.85 msであり、実用的応用に適した準リアルタイムインタラクションを可能にした。
• OESenseは動作時746 mWの消費電力を示し、商業的イヤーバッグへの統合に耐えうる電力オーバーヘッドであると分析された。
• 音楽再生や通話といった標準的なイヤーバッグ機能との互換性を維持しており、実用的展開の可能性を裏付けた。