[논문 리뷰] HOOD: Real-Time Human Presence and Out-of-Distribution Detection Using FMCW Radar

Sabri Mustafa Kahya, Muhammet Sami Yavuz외 1명|arXiv (Cornell University)|2023. 07. 24.

Non-Invasive Vital Sign MonitoringEngineering인용 수 3

한 줄 요약

HOOD는 60 GHz FMCW 레이더를 사용하여 실시간으로 작동하는 복원 기반 딥러닝 방법을 제안하여 잡음이 많은 환경에서도 인간 존재 감지와 분포 외부(Out-of-Distribution, OOD) 감지를 강력하게 수행한다. 매크로 및 마이크로 레인지- doppler 이미지(RDIs)와 향상된 E-RESPD 전처리 기법을 통합한 다중 인코더-다중 디코더 아키텍처를 활용하여, 숨을 멈추거나 부분적으로 가림을 겪는 상황에서도 인간 존재를 94.36% 평균 AUROC로 정확하게 감지할 수 있으며, 同시에 간섭 신호를 OOD로 식별한다.

ABSTRACT

Detecting human presence indoors with millimeter-wave frequency-modulated continuous-wave (FMCW) radar faces challenges from both moving and stationary clutter. This work proposes a robust and real-time capable human presence and out-of-distribution (OOD) detection method using 60 GHz short-range FMCW radar. HOOD solves the human presence and OOD detection problems simultaneously in a single pipeline. Our solution relies on a reconstruction-based architecture and works with radar macro and micro range-Doppler images (RDIs). HOOD aims to accurately detect the presence of humans in the presence or absence of moving and stationary disturbers. Since HOOD is also an OOD detector, it aims to detect moving or stationary clutters as OOD in humans' absence and predicts the current scene's output as "no presence." HOOD performs well in diverse scenarios, demonstrating its effectiveness across different human activities and situations. On our dataset collected with a 60 GHz short-range FMCW radar, we achieve an average AUROC of 94.36%. Additionally, our extensive evaluations and experiments demonstrate that HOOD outperforms state-of-the-art (SOTA) OOD detection methods in terms of common OOD detection metrics. Importantly, HOOD also perfectly fits on Raspberry Pi 3B+ with an ARM Cortex-A53 CPU, which showcases its versatility across different hardware environments. Videos of our human presence detection experiments are available at: https://muskahya.github.io/HOOD

연구 동기 및 목표

• 실내 환경에서 움직이는 물체나 정적 잡음으로 인한 잘못된 경고(false positives) 문제를 해결하기 위해.
• 인간이 부분적으로 가려져 있거나 숨을 멈추거나 복잡한 자세를 취할 때에도 인간 존재를 강력하게 감지하기 위해.
• 인간이 존재하지 않을 경우, 예를 들어 선풍기나 장난감과 같은 간섭 신호를 OOD로 식별하여 신뢰할 수 있는 '존재하지 않음' 예측을 보장하기 위해.
• 운동 신호에 의존하지 않고 다양한 실내 환경에 일반화 가능한 실시간, 활동 기반 감지 시스템을 개발하기 위해.
• 복원 기반 딥러닝 프레임워크를 사용해 레이더 기반 응용 분야에서 기존 최고 수준의 OOD 감지 방법을 뛰어넘기 위해.

제안 방법

• HOOD는 60 GHz FMCW 레이더에서 생성된 매크로 및 마이크로 레인지-도플러 이미지(RDIs)를 기반으로 하는 복원 기반 딥 네트워크를 사용하며, 다중 인코더-다중 디코더 아키텍처를 채택한다.
• 숨을 멈춘 동안조차도 호흡이나 미세한 움직임을 포함한 미세한 인간 운동을 감지할 수 있도록 향상된 E-RESPD(E-RESPD) 전처리 기법을 통합한다.
• 복원 오차 점수에 다중 임계값 처리를 적용하여 샘플을 인간에 속하는 내부분포(ID) 또는 간섭 신호에 속하는 OOD로 분류한다.
• 훈련 과정에서 ID 및 OOD 혼합 샘플(ID + OOD)을 포함함으로써, 잡음 신호가 지배적인 상황에서도 인간 존재를 감지할 수 있도록 모델을 훈련시킨다.
• 운동 기반 가정 없이도 정적(서서, 앉아 있는 상태) 및 동적(걷기) 인간 행동을 통합된 파이프라인으로 처리한다.
• HOOD는 실시간 추론을 위해 설계되었으며, 마이크로컨트롤러에 배포되어 에지 자율성을 확보할 수 있다.

실험 결과

연구 질문

• RQ1 복원 기반 딥러닝 모델은 인간 운동을 모방하는 잡음 신호가 존재하는 실내 환경에서도 인간 존재 감지를 높은 정확도로 수행할 수 있는가?
• RQ2 인간이 존재하지 않을 경우, 시스템은 인간과 분포 외부 간섭 신호(예: 선풍기, 움직이는 물체)를 얼마나 잘 구분할 수 있는가?
• RQ3 부분적 가림, 숨 멈춤, 혹은 낮은 자세를 취한 상황에서도 모델이 높은 감지 성능을 유지할 수 있는가?
• RQ4 ID 및 OOD 혼합 훈련 샘플을 통합함으로써, 지배적인 잡음 환경에서도 인간 존재 감지 능력이 향상되는가?
• RQ5 HOOD는 레이더 기반 데이터에서 기존 최고 수준의 OOD 감지 방법과 비교해 AUROC 및 FPR95 측면에서 어떻게 성능을 내는가?

주요 결과

• HOOD는 자체 제작한 60 GHz FMCW 레이더 데이터셋에서 평균 AUROC 94.36%를 기록하여 다양한 상황에서 높은 감지 성능을 입증했다.
• 기존 운동 기반 방법이 실패하는 숨을 멈춘 상태나 낮은 자세를 취한 상황에서도 인간 존재 감지를 높은 정확도로 유지한다.
• 인간이 존재하지 않을 경우에도, 실내에 강한 잡음이 존재하는 환경에서 움직이는 또는 정적 간섭 신호를 성공적으로 OOD로 식별하고 분류한다.
• 테이블 등에 의해 일부가 가려진 인간에 대해서도 모델이 잘 일반화되어 신뢰할 수 있는 존재 감지 성능을 유지한다.
• 특히 복잡한 혼합-ID/OOD 상황에서 레이더 기반 데이터에서 기존 최고 수준의 OOD 감지 방법을 AUROC 및 FPR95 측면에서 뛰어넘는다.
• 실시간 평가 결과 시스템이 스마트 홈, 보안, 에너지 효율적 응용 분야에 구현 가능한 것으로 확인되었다.