[논문 리뷰] mmFall: Fall Detection using 4D MmWave Radar and a Hybrid Variational RNN AutoEncoder

Feng Jin, Arindam Sengupta외 1명|arXiv (Cornell University)|2020. 03. 05.

Indoor and Outdoor Localization Technologies참고 문헌 54인용 수 4

한 줄 요약

이 논문은 4D mmWave 레이더와 하이브리드 변동형 RNN 오토에인코더(HVRAE)를 사용하여 개인정보 보호를 고려한 추락 감지 시스템인 mmFall을 제안한다. 이 방법은 운동 이면도 수준과 중심 높이 감소를 분석하여 추락을 감지하며, 정상 활동에 대한 준지도 학습을 통해 실제 추락 데이터의 부족을 보완함으로써 50건의 추락에서 98%의 감지 정확도를 달성했으며, 오직 2건의 오류 경고만을 기록했다.

ABSTRACT

In this paper we propose mmFall - a novel fall detection system, which comprises of (i) the emerging millimeter-wave (mmWave) radar sensor to collect the human body's point cloud along with the body centroid, and (ii) a variational recurrent autoencoder (VRAE) to compute the anomaly level of the body motion based on the acquired point cloud. A fall is claimed to have occurred when the spike in anomaly level and the drop in centroid height occur simultaneously. The mmWave radar sensor provides several advantages, such as privacycompliance and high-sensitivity to motion, over the traditional sensing modalities. However, (i) randomness in radar point cloud data and (ii) difficulties in fall collection/labeling in the traditional supervised fall detection approaches are the two main challenges. To overcome the randomness in radar data, the proposed VRAE uses variational inference, a probabilistic approach rather than the traditional deterministic approach, to infer the posterior probability of the body's latent motion state at each frame, followed by a recurrent neural network (RNN) to learn the temporal features of the motion over multiple frames. Moreover, to circumvent the difficulties in fall data collection/labeling, the VRAE is built upon an autoencoder architecture in a semi-supervised approach, and trained on only normal activities of daily living (ADL) such that in the inference stage the VRAE will generate a spike in the anomaly level once an abnormal motion, such as fall, occurs. During the experiment, we implemented the VRAE along with two other baselines, and tested on the dataset collected in an apartment. The receiver operating characteristic (ROC) curve indicates that our proposed model outperforms the other two baselines, and achieves 98% detection out of 50 falls at the expense of just 2 false alarms.

연구 동기 및 목표

• 노령 인구에서 효과적이고 개인정보 보호를 고려한 추락 감지의 필수적인 필요성을 해결한다.
• 실제 추락 데이터 수집의 제한성에 대비해 준지도 학습 방식을 사용함으로써 이를 극복한다.
• 학습 중에 레이블이 부여된 추락 샘플이 필요 없이도 비정상적인 사건을 식별할 수 있는 강력한 이상 탐지 시스템을 개발한다.
• mmWave 레이더의 높은 운동 감도와 시간적 모델링을 통합하여 추락을 나타내는 급격한 변화를 감지한다.
• 오류 경고를 최소화하고 다양한 신체 유형과 운동 패턴에서의 성능를 유지함으로써 실용적 구현을 보장한다.

제안 방법

• 실시간으로 인간 운동의 동적 포인트 클라우드(3차원 위치 + 도플러 속도)를 캡처하기 위해 4D mmWave 레이더 센서를 사용한다.
• 레이더 포인트 클라우드에서 잠재 운동 상태의 사후 분포를 모델링하기 위해 변동형 추론을 오토에인코더 내부에 적용한다.
• 순차적 레이더 프레임 간의 시간적 의존성을 캡처하기 위해 순환 신경망(RNN)을 활용하여 운동 패턴 분석을 수행한다.
• 변동형 오토에인코딩과 RNN 기반의 시퀀스 모델링을 융합한 하이브리드 아키텍처를 설계하여 각 프레임의 이상도 점수를 계산한다.
• 제한된 정상 활동 데이터에 대한 학습 안정성을 확보하기 위해 고유의 손실 함수와 데이터 오버샘플링 기법을 적용한다.
• 이상도 수준의 동시 급증과 신체 중심 높이 감소를 기반으로 추락을 감지하여 실시간 경고 기능을 구현한다.

실험 결과

연구 질문

• RQ1 정상 활동 데이터만으로 학습된 준지도 이상 탐지 모델이 레이블이 부여된 추락 데이터가 없이도 추락을 감지할 수 있는가?
• RQ2 하이브리드 변동형 RNN 오토에인코더는 mmWave 레이더 포인트 클라우드에서 복잡한 인간 운동 패턴을 얼마나 효과적으로 모델링하는가?
• RQ3 개인정보 보호를 유지하면서도 전통적인 비전 기반 센서에 비해 mmWave 레이더가 추락 감지에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 변동형 추론과 RNN의 조합이 레이더 데이터의 노이즈와 무작위성에 대비해 탐지 정확도를 향상시키는 데 얼마나 기여하는가?
• RQ5 실생활 추락 감지에서 레이더와 딥러닝을 활용할 경우 감지 민감도와 오류 경고 비율 사이의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 HVRAE 모델은 주거 환경에서 실제 발생한 50건의 추락에 대해 98%의 추락 감지율을 기록했으며, 오류 경고가 오직 2건 뿐이었다.
• 시스템은 운동 변화에 매우 민감하게 반응하여 이상도 수준의 급증과 동시에 중심 높이 감소를 통해 추락을 감지했다.
• 정상 활동 데이터만으로 준지도 학습을 수행함으로써 비정상 사건인 추락을 효과적으로 감지할 수 있었으며, 비용이 많이 들고 윤리적으로 어려운 추락 데이터 수집이 필요 없어졌다.
• 변동형 추론의 활용으로 mmWave 레이더 포인트 클라우드의 본질적 무작위성에도 불구하고 잠재 운동 상태의 강력한 추정이 가능했다.
• 고유의 데이터 오버샘플링 기법은 원본 데이터셋의 통계적 특성을 유지하여 분포 이탈 없이 안정적인 모델 학습을 보장했다.
• ROC 곡선 분석을 통해 mmFall이 두 가지 기준 모델보다 감지율과 오류 경고 통제 모두에서 뛰어난 성능을 보였다.