[논문 리뷰] MiliPoint: A Point Cloud Dataset for mmWave Radar

Han Cui, Zhong Shu외 4명|arXiv (Cornell University)|2023. 09. 23.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

MiliPoint은 mmWave 레이더를 위한 대규모이고 오픈소스인 포인트 클라우드 데이터셋을 소개하며, 545,000개의 프레임과 49종의 다양한 인간 동작을 포함하여 딥러닝 모델의 세 가지 핵심 과제인 동작 분류, 신원 식별, 관절점 추정에 대한 벤치마킹을 가능하게 한다. 이 데이터셋은 현재까지 가장 크고 동작 다양성이 뛰어난 것으로, DGCNN, PointNet++, PointTransformer와 같은 포인트 기반 딥 네URAL 네트워크의 표준화된 평가를 지원하며, 동작 분류 과제가 가장 과도한 과제로 규명되었다.

ABSTRACT

Millimetre-wave (mmWave) radar has emerged as an attractive and cost-effective alternative for human activity sensing compared to traditional camera-based systems. mmWave radars are also non-intrusive, providing better protection for user privacy. However, as a Radio Frequency (RF) based technology, mmWave radars rely on capturing reflected signals from objects, making them more prone to noise compared to cameras. This raises an intriguing question for the deep learning community: Can we develop more effective point set-based deep learning methods for such attractive sensors? To answer this question, our work, termed MiliPoint, delves into this idea by providing a large-scale, open dataset for the community to explore how mmWave radars can be utilised for human activity recognition. Moreover, MiliPoint stands out as it is larger in size than existing datasets, has more diverse human actions represented, and encompasses all three key tasks in human activity recognition. We have also established a range of point-based deep neural networks such as DGCNN, PointNet++ and PointTransformer, on MiliPoint, which can serve to set the ground baseline for further development.

연구 동기 및 목표

• mmWave 레이더 기반 인간 활동 인식을 위한 표준화되고 대규모인 데이터셋의 부족을 해결하기 위해.
• 통일된 벤치마킹 프레임워크를 제공하여 딥러닝 모델 간 공정한 비교를 가능하게 하기 위해.
• 노이즈가 많고 RF 기반 레이더 데이터에 적합한 포인트 세트 기반 딥러닝 연구를 지원하기 위해.
• 인간 활동 인식의 세 핵심 과제인 신원 식별, 동작 분류, 관절점 추정을 모두 커버하기 위해.
• mmWave 레이더 데이터에서 최신 포인트 기반 DNN의 기준 성능을 설정하기 위해.

제안 방법

• 단일 77GHz MIMO mmWave 레이더를 사용하여 데이터를 수집하였으며, 이는 세 개의 송신기와 네 개의 수신기를 갖춘다.
• 원시 중간 주파수(IF) 신호는 범위-Doppler 및 각도-FFT를 통해 처리되어 인간 운동을 나타내는 3차원 포인트 클라우드를 생성한다.
• 클라우드의 각 포인트는 범위, 도플러 및 수평 각도를 인코딩하며, 인간 운동의 3차원 공간 표현을 형성한다.
• 49종의 서로 다른 인간 동작이 통제된 실내 조건에서 참가자들이 수행되었으며, 일관된 데이터 수집을 보장한다.
• 각 프레임에 대해 신원, 동작 클래스, 3차원 관절점 위치에 대한 애너테이션이 포함되어 있다.
• 재현 가능한 딥러닝 모델의 벤치마킹을 지원하기 위해 표준화된 데이터 분할 및 평가 프로토콜을 수립하였다.

Figure 1: An illustration of how a typical mmWave Radar work. The radar has several transmitters (TX) and Receivers (RX) for transmitting and collecting the reflected signals. These signals are then mixed and filtered to form an Intermediate Frequency (IF) signal. Subsequent to this, three Fast Four

실험 결과

연구 질문

• RQ1 포인트 기반 딥러닝 모델은 mmWave 레이더 포인트 클라우드에서 인간 동작을 효과적으로 인식할 수 있는가?
• RQ2 신원 식별, 동작 분류, 관절점 추정이라는 세 핵심 과제 간에 모델 성능는 어떻게 달라지는가?
• RQ3 mmWave 레이더 데이터에서 동작 분류 과제는 신원 식별 및 관절점 추정 과제에 비해 상대적으로 얼마나 어려운가?
• RQ4 데이터셋의 크기와 동작 다양성은 레이더 기반 인간 활동 인식에서 딥러닝 모델의 일반화 및 내구성에 어떤 영향을 미치는가?
• RQ5 기존의 포인트 기반 DNN인 DGCNN, PointNet++, PointTransformer는 mmWave 레이더 포인트 클라우드로 얼마나 잘 일반화되는가?

주요 결과

• MiliPoint은 현재까지 가장 큰 mmWave 레이더 데이터셋으로, 545,000개의 프레임을 포함하며, 다음으로 큰 데이터셋보다 3.26배 크다.
• 이 데이터셋은 49종의 서로 다른 인간 동작을 포함하여, 가장 동작 다양성이 높은 기존 데이터셋 대비 4.08배 높은 동작 다양성을 보였다.
• 세 가지 평가 과제 중에서 동작 분류 과제가 가장 과도한 과제로 나타났으며, 미세한 운동 패턴을 구분하는 데 더 높은 어려움이 있음을 시사한다.
• DGCNN, PointNet++, PointTransformer와 같은 포인트 기반 딥 네URAL 네트워크는 MiliPoint에서 측정 가능한 성능를 달성하여 향후 연구를 위한 기준을 설정하였다.
• 이 데이터셋은 모델과 과제 간 표준화된 평가를 가능하게 하여, 이전 mmWave 레이더 연구에서 하드웨어, 데이터 수집, 과제 정의의 다양성으로 인한 일관성 없는 결과를 감소시켰다.
• 본 연구는 mmWave 레이더가 인간 활동 감지에 있어 카메라 기반 시스템에 비해 개인정보 보호에 유리하고 비용 효율적인 대안이 될 잠재력을 드러냈다.

(a) Front view