[論文レビュー] HOOD: Real-Time Human Presence and Out-of-Distribution Detection Using FMCW Radar

Sabri Mustafa Kahya, Muhammet Sami Yavuz+1 more|arXiv (Cornell University)|Jul 24, 2023

Non-Invasive Vital Sign MonitoringEngineering被引用数 3

ひとこと要約

HOODは、60 GHz FMCWレーダーを用いたリアルタイムで再構成に基づく深層学習手法を提案し、クラッター下でも人間の存在および分布外（OOD）検出に高い耐障害性を発揮する。マクロおよびマイクロ距離-Doppler画像（RDI）を活用し、強化されたE-RESPD前処理を施したマルチエンコーダー・マルチデコーダー構造を採用することで、人間の存在をクラッター下でも呼吸停止時や部分的遮蔽時を含め、94.36%の平均AUROCを達成。同時に、異常な干渉（例：ファン、おもちゃ）をOODとして検出可能である。

ABSTRACT

Detecting human presence indoors with millimeter-wave frequency-modulated continuous-wave (FMCW) radar faces challenges from both moving and stationary clutter. This work proposes a robust and real-time capable human presence and out-of-distribution (OOD) detection method using 60 GHz short-range FMCW radar. HOOD solves the human presence and OOD detection problems simultaneously in a single pipeline. Our solution relies on a reconstruction-based architecture and works with radar macro and micro range-Doppler images (RDIs). HOOD aims to accurately detect the presence of humans in the presence or absence of moving and stationary disturbers. Since HOOD is also an OOD detector, it aims to detect moving or stationary clutters as OOD in humans' absence and predicts the current scene's output as "no presence." HOOD performs well in diverse scenarios, demonstrating its effectiveness across different human activities and situations. On our dataset collected with a 60 GHz short-range FMCW radar, we achieve an average AUROC of 94.36%. Additionally, our extensive evaluations and experiments demonstrate that HOOD outperforms state-of-the-art (SOTA) OOD detection methods in terms of common OOD detection metrics. Importantly, HOOD also perfectly fits on Raspberry Pi 3B+ with an ARM Cortex-A53 CPU, which showcases its versatility across different hardware environments. Videos of our human presence detection experiments are available at: https://muskahya.github.io/HOOD

研究の動機と目的

• 屋内環境における動的・静的クラッターに起因する誤検出の課題を解決すること。
• 人間が部分的に可視である、呼吸を止める、複雑な姿勢を取っている場合でも、人間の存在を頑健に検出できること。
• 人間が存在しない状況で、ファンやおもちゃなどの分布外（OOD）の干渉を同時に検出でき、信頼性の高い「存在なし」予測を保証すること。
• 人間の運動に依存しない、アクティビティフリーのリアルタイム検出システムを構築し、多様な屋内シナリオに一般化可能であること。
• 再構成に基づく深層学習フレームワークを用いて、レーダー応用分野におけるSOTAのOOD検出手法を上回ること。

提案手法

• HOODは、60 GHz FMCWレーダーからのマクロおよびマイクロ距離-Doppler画像（RDI）を用い、マルチエンコーダー・マルチデコーダー構造を有する再構成ベースの深層ニューラルネットワークを採用。
• 呼吸や微小運動でさえも、呼吸停止時でさえも検出可能な、強化されたE-RESPD（E-RESPD）前処理技術を統合。
• 再構成誤差スコアにマルチスレッショルドを適用し、サンプルを人間の分布内（ID）または分布外（OOD）に分類。
• 訓練にID＋OODの混合サンプルを用いることで、クラッター信号が支配的であっても人間の検出が可能になる。
• 運動に基づく仮定を一切用いずに、静的（立っている、座っている）および動的（歩行）の人間行動を統一されたパイプラインで処理。
• リアルタイム推論を想定し、エッジ自律性を実現するため、マイコンローカルでのデプロイも可能に設計。

実験結果

リサーチクエスチョン

• RQ1 再構成ベースの深層学習モデルは、人間の運動を模倣するクラッター信号が存在する屋内環境でも、高い精度で人間の存在を検出可能か？
• RQ2 人間が存在しない状況で、ファンや移動物体などの分布外（OOD）の干渉を、人間とどれほど明確に区別できるか？
• RQ3 部分的遮蔽、呼吸停止、またはしゃがんだ姿勢といった困難な状況下でも、モデルの検出性能を維持できるか？
• RQ4 ID＋OODの混合サンプルを訓練に組み込むことで、支配的クラッター下でも人間の検出能力が向上するか？
• RQ5 レーダーに基づくデータにおいて、HOODはSOTAのOOD検出手法と比較して、AUROCおよびFPR95の観点で優れているか？

主な発見

• HOODは独自に構築した60 GHz FMCWレーダーデータセット上で、平均AUROCが94.36%を達成し、多様なシナリオにわたる高い検出性能を示した。
• 従来の運動ベース手法が失敗する呼吸停止時およびしゃがんだ姿勢時においても、人間の検出に高い精度を維持した。
• 人間が存在しない状況で、動的・静的の干渉をOODとして正しく検出し分類でき、重いクラッター環境下でも有効であった。
• テーブルや斜めの角度による遮蔽がある部分的可視人間に対しても、モデルは良好に一般化され、信頼性の高い存在検出を維持した。
• 特に複雑な混合ID/OODシナリオにおいて、SOTAのOOD検出手法をAUROCおよびFPR95の両面で上回った。
• リアルタイム評価により、スマートホーム、セキュリティ、省エネルギー応用への実用性が確認された。