[논문 리뷰] SimHumalator: An Open Source WiFi Based Passive Radar Human Simulator For Activity Recognition

Shelly Vishwakarma, Wenda Li외 4명|arXiv (Cornell University)|2021. 03. 02.

Advanced SAR Imaging Techniques참고 문헌 36인용 수 11

한 줄 요약

이 논문은 IEEE 802.11g 준수 신호 모델과 마커 기반 인간 운동 캡처 데이터를 통합하여 합성 WiFi 피아식 레이더 미세도플러 서명을 생성하는 오픈소스 MATLAB 기반 시뮬레이터인 SimHumalator을 제시한다. 이는 고해상도 인간 활동 인식 시나리오를 시뮬레이션할 수 있게 하며, 시뮬레이션 데이터에 대해 딥러닝 모델을 사용할 경우 분류 정확도가 ≥95%에 이를 뿐만 아니라 실제 측정치에 대해서도 약 90%의 정확도를 기록하여 실세계 피아식 레이더 응용 분야에서 큰 잠재력을 보여준다.

ABSTRACT

This work presents a simulation framework to generate human micro-Dopplers in WiFi based passive radar scenarios, wherein we simulate IEEE 802.11g complaint WiFi transmissions using MATLAB's WLAN toolbox and human animation models derived from a marker-based motion capture system. We integrate WiFi transmission signals with the human animation data to generate the micro-Doppler features that incorporate the diversity of human motion characteristics, and the sensor parameters. In this paper, we consider five human activities. We uniformly benchmark the classification performance of multiple machine learning and deep learning models against a common dataset. Further, we validate the classification performance using the real radar data captured simultaneously with the motion capture system. We present experimental results using simulations and measurements demonstrating good classification accuracy of $\geq$ 95\% and $\approx$ 90\%, respectively.

연구 동기 및 목표

• 피아식 와이파이 센싱에서 인간 활동 인식을 위한 대규모, 다양한, 공개 가능한 레이더 데이터셋의 부족 문제를 해결하기 위해.
• 다양한 레이더 구성 및 환경 조건에서 인간 운동에 기인한 미세도플러 서명을 현실적으로 모델링할 수 있는 시뮬레이션 프레임워크를 개발하기 위해.
• 모델링된 시뮬레이션 데이터와 실제 측정치로부터 유도된 통합 데이터셋을 바탕으로 기계학습 및 딥러닝 모델을 벤치마킹하기 위해.
• 실제 환경에서의 손상인 노이즈, 다중경로, 음영화 등에 대해 딥러닝 모델의 견고성을 검증하기 위해.
• 피아식 레이더 센싱을 위한 데이터 확보의 연구 노력과 비용을 줄이기 위해 오픈소스 도구를 공개하기 위해.

제안 방법

• 시뮬레이터는 캐리어 주파수, 대역폭, 변조 방식 등 설정 가능한 파arameter를 갖는 IEEE 802.11g 준수 와이파이 신호를 생성하기 위해 MATLAB의 WLAN 툴박스를 사용한다.
• 인간 운동 궤적은 3D 공간에서 시간에 따라 17개의 신체 지점이 추적되는 마커 기반 운동 캡처 시스템(PhaseSpace)으로부터 유도된다.
• 시뮬레이터는 이동하는 신체 부위에 의해 발생하는 도플러 시프트를 모델링하고, 운동 데이터를 전자기 산란 원리와 통합하여 시간에 따라 변화하는 레이더 수신 신호를 계산한다.
• 단일경로, 이중경로 선형, 이중경로 원형 등의 다양한 레이더 구성 방식을 지원하며, 코herent 처리 간격(CPI)과 펄스 반복 간격(PRI)을 조정할 수 있다.
• 시뮬레이션된 기저대역 신호로부터 미세도플러 스펙트로그램을 생성하여 분류 모델의 입력 데이터로 활용한다.
• 대상 운동(예: 걷기, 서기, 점프하기), 센서 파arameter, 신호 처리 설정을 체계적으로 변화시켜 다양한 데이터셋을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 시뮬레이션 프레임워크는 피아식 와이파이 레이더 시나리오에서 인간 운동의 미세도플러 서명을 정확하게 재현할 수 있는가?
• RQ2 다양한 기계학습 및 딥러닝 모델은 통합된 시뮬레이션 및 실제 피아식 레이더 데이터 세트에서 어떻게 성능을 발휘하는가?
• RQ3 노이즈 및 다중경로와 같은 환경 요인이 전통적인 특징 기반 방법의 성능에 미치는 영향은 깊이 있는 딥뉴럴 네트워크 대비 어느 정도인가?
• RQ4 시뮬레이션된 데이터는 실제 측정치와 비교해 분류 정확도가 유사한 수준에 도달할 수 있는가? 이는 시뮬레이터의 현실성에 대한 검증이 된다.
• RQ5 실제 피아식 레이더 조건에서 신호 대 잡음비(SNR)가 변화할 경우 딥러닝 모델의 성능은 어떻게 변하는가?

주요 결과

• SimHumalator 시뮬레이터는 시뮬레이션된 미세도플러 스펙트로그램에 대해 여러 딥러닝 모델에서 평균 분류 정확도가 ≥95%를 달성하였다.
• 운동 캡처와 동시에 캡처된 실제 측정 데이터에서 가장 우수한 성능을 보인 모델(ResNet)은 평균 분류 정확도 92.6%를 기록하였다.
• 수작업 또는 희박한 특징에 의존하는 전통적인 기계학습 방법은 실제 데이터에서 평균 정확도 66.6%에 그쳐 환경 노이즈 및 다중경로에 대한 저항력이 떨어지는 것으로 나타났다.
• 특히 ResNet을 포함한 딥뉴럴 네트워크는 노이즈 및 다중경로와 같은 실제 환경 손상에 대해 뛰어난 견고성을 보이며, 기존 특징 기반 접근 방식을 능가하였다.
• 시뮬레이션 데이터와 실제 데이터 간의 성능 격차는 비교적 작았으며(실제 데이터 약 90% 대비 시뮬레이션 ≥95%), 이는 시뮬레이터의 정밀도를 검증하는 데 기여하였다.
• 본 연구는 도전적인 조건 하에서 실세계 피아식 와이파이 기반 인간 활동 인식에 대해 딥러닝이 전통적 방법보다 더 실현 가능하다는 점을 확인하였다.