[論文レビュー] MiliPoint: A Point Cloud Dataset for mmWave Radar

Han Cui, Zhong Shu+4 more|arXiv (Cornell University)|Sep 23, 2023

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

MiliPointは、545,000フレームと49種類の多様な人間の行動を含む大規模かつオープンソースの点群データセットを提供するmmWaveレーダーであり、深層学習モデルのベンチマーク評価を3つの主要なタスク（行動分類、本人識別、キーポイント推定）において可能にする。このデータセットは、これまでで最大かつ最も行動が多様なデータセットであり、DGCNN、PointNet++、PointTransformerなどの点群ベースの深層ニューラルネットワークの標準化された評価を可能にする。行動分類が最も挑戦的なタスクであると特定された。

ABSTRACT

Millimetre-wave (mmWave) radar has emerged as an attractive and cost-effective alternative for human activity sensing compared to traditional camera-based systems. mmWave radars are also non-intrusive, providing better protection for user privacy. However, as a Radio Frequency (RF) based technology, mmWave radars rely on capturing reflected signals from objects, making them more prone to noise compared to cameras. This raises an intriguing question for the deep learning community: Can we develop more effective point set-based deep learning methods for such attractive sensors? To answer this question, our work, termed MiliPoint, delves into this idea by providing a large-scale, open dataset for the community to explore how mmWave radars can be utilised for human activity recognition. Moreover, MiliPoint stands out as it is larger in size than existing datasets, has more diverse human actions represented, and encompasses all three key tasks in human activity recognition. We have also established a range of point-based deep neural networks such as DGCNN, PointNet++ and PointTransformer, on MiliPoint, which can serve to set the ground baseline for further development.

研究の動機と目的

• mmWaveレーダーを用いた人間行動認識のための標準化された大規模データセットの不足に対処すること。
• 統一されたベンチマークフレームワークを提供することで、深層学習モデル間の公平な比較を可能にすること。
• ノイズの多いRFベースのレーダーデータに対する点集合ベースの深層学習研究を支援すること。
• 人間行動認識の3つのコアタスク（本人識別、行動分類、キーポイント推定）を網羅すること。
• mmWaveレーダーデータにおける最先端の点ベースDNNのベースラインパフォーマンスを確立すること。

提案手法

• データセットは、3つの送信素子と4つの受信素子を備えた1台の77GHz MIMO mmWaveレーダーを用いて収集された。
• 生の中間周波数（IF）信号は、距離-Dopplerおよびアングル-FFTを介して処理され、人間の動きを表す3次元点群が生成された。
• 点群内の各点は距離、ドップラー、および方位角を符号化し、人間の動きの3次元空間的表現を形成した。
• 49種類の異なる人間の行動が、制御された屋内環境下で被験者によって実行され、一貫性のあるデータ収集が確保された。
• 各フレームに対して本人、行動クラス、および3次元キーポイント位置のアノテーションが含まれている。
• 再現可能な深層学習モデルのベンチマーク評価を可能にするために、標準化されたデータ分割と評価プロトコルが確立された。

Figure 1: An illustration of how a typical mmWave Radar work. The radar has several transmitters (TX) and Receivers (RX) for transmitting and collecting the reflected signals. These signals are then mixed and filtered to form an Intermediate Frequency (IF) signal. Subsequent to this, three Fast Four

実験結果

リサーチクエスチョン

• RQ1 点ベースの深層学習モデルは、mmWaveレーダー点群から人間の行動を効果的に認識できるか？
• RQ2 本人識別、行動分類、キーポイント推定という3つのコアタスクにおけるモデルのパフォーマンスはどのように変動するか？
• RQ3 mmWaveレーダーデータにおいて、行動分類は本人識別やキーポイント推定と比較して相対的にどれほど困難であるか？
• RQ4 データセットのサイズと行動の多様性は、レーダーに基づく人間行動認識における深層学習モデルの一般化性能とロバストネスにどのように影響するか？
• RQ5 DGCNN、PointNet++、PointTransformerなどの既存の点ベースDNNは、mmWaveレーダー点群にどの程度一般化可能か？

主な発見

• MiliPointは、545,000フレームを有する、これまでで最大のmmWaveレーダーデータセットであり、次に大きなデータセットの3.26倍の規模である。
• 49種類の異なる人間の行動を含んでおり、最も行動が多様な既存のデータセットと比較して4.08倍の行動多様性を有する。
• 評価された3つのタスクの中で行動分類が最も挑戦的なタスクとして浮き彫りになった。これは、微細な運動パターンの区別が難しいことを示している。
• DGCNN、PointNet++、PointTransformerなどの点ベースの深層ニューラルネットワークは、MiliPointで測定可能なパフォーマンスを達成し、今後の研究のベースラインを確立した。
• データセットにより、モデルやタスク間での標準化された評価が可能となり、過去のmmWaveレーダー研究におけるハードウェア、データ収集、タスク定義のばらつきによる不整合が軽減された。
• 本研究は、プライバシー保護が可能でコスト効率の良いカメラベースシステムの代替手段として、mmWaveレーダーの潜在的可能性を浮き彫りにした。

(a) Front view