[論文レビュー] DeepPoint: A Deep Learning Model for 3D Reconstruction in Point Clouds via mmWave Radar

Yue Sun, Honggang Zhang+2 more|arXiv (Cornell University)|Sep 19, 2021

Robotics and Sensor-Based Localization参考文献 24被引用数 6

ひとこと要約

DeepPointは、mmWaveレーダー信号から得られるスパarsなノイズ多き入力点群から、高品質で高密度かつ滑らかな3次元点群を生成する条件付きGANベースの深層学習モデルを提案する。スキップ接続を備えた最適化されたDeepPointブロックのスタックとミックスプーリングディスクリミネーターを採用することで、元の3DRIMRに比べて3次元再構成性能が顕著に向上し、ベンチマークデータセット上でのチェンファーディスタンス（CD）が低く、Fスコアが高くなった。

ABSTRACT

Recent research has shown that mmWave radar sensing is effective for object detection in low visibility environments, which makes it an ideal technique in autonomous navigation systems such as autonomous vehicles. However, due to the characteristics of radar signals such as sparsity, low resolution, specularity, and high noise, it is still quite challenging to reconstruct 3D object shapes via mmWave radar sensing. Built on our recent proposed 3DRIMR (3D Reconstruction and Imaging via mmWave Radar), we introduce in this paper DeepPoint, a deep learning model that generates 3D objects in point cloud format that significantly outperforms the original 3DRIMR design. The model adopts a conditional Generative Adversarial Network (GAN) based deep neural network architecture. It takes as input the 2D depth images of an object generated by 3DRIMR's Stage 1, and outputs smooth and dense 3D point clouds of the object. The model consists of a novel generator network that utilizes a sequence of DeepPoint blocks or layers to extract essential features of the union of multiple rough and sparse input point clouds of an object when observed from various viewpoints, given that those input point clouds may contain many incorrect points due to the imperfect generation process of 3DRIMR's Stage 1. The design of DeepPoint adopts a deep structure to capture the global features of input point clouds, and it relies on an optimally chosen number of DeepPoint blocks and skip connections to achieve performance improvement over the original 3DRIMR design. Our experiments have demonstrated that this model significantly outperforms the original 3DRIMR and other standard techniques in reconstructing 3D objects.

研究の動機と目的

• 低解像度でスパarsかつノイズの多いmmWaveレーダー点群から高精細な3次元オブジェクト形状を再構成する課題に対処すること。
• 特にぼやけた形状で構造が不十分な点群を生成する3DRIMRのステージ2を改善すること。
• 複数視点の不完全な入力点群を統合し、一貫性があり高密度かつ幾何学的に正確な3次元形状を生成できる深層生成ネットワークを設計すること。
• 層の数、スキップ接続、ディスクリミネーターのプーリング戦略といったアーキテクチャ要因を最適化し、性能を向上させること。

提案手法

• モデルは、複数のレーダー視点からの統合済みで粗いスパarsな3次元点群を入力とする条件付きGANアーキテクチャを採用する。
• 生成器は、共有MLPを介して点群特徴を拡張し、その後3次元座標へ再縮小することで幾何形状を精緻化するDeepPointブロックの系列を用いる。
• スキップ接続により、元の入力座標を保存し、特徴の伝搬を向上させることで再構成の忠実度を向上させる。
• ディスクリミネーターは、最大プーリングと平均プーリングの連結（ミックスプーリング）を用いて、頑健なグローバル特徴を抽出し、対抗的学習を実現する。
• 生成器は、対抗的損失と地球移動距離（EMD）の組み合わせで訓練され、形状類似度の向上が図られる。
• モデルは、生レーダー信号を2次元深度画像に変換する3DRIMRのステージ1で処理されたmmWaveレーダーデータを、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 最適化されたアーキテクチャを備えた深層生成ネットワークは、元の3DRIMRと比較してmmWaveレーダー入力からの3次元点群再構成を向上させることができるか？
• RQ2 性能と深さのバランスを保ちつつ過学習を避けるために、生成器におけるDeepPointブロックの最適数は何か？
• RQ3 ノイズが多くスパarsな入力がある状況下で、スキップ接続は再構成された3次元点群の品質にどのように影響するか？
• RQ4 ディスクリミネーターにおけるミックスプーリングは、単独の最大プーリングや平均プーリングに比べ、より優れた特徴学習と再構成性能をもたらすか？
• RQ5 条件付きGANフレームワークは、mmWaveベースの3次元再構成において、幾何的詳細と滑らかさをどの程度向上させられるか？

主な発見

• 5ブロックおよび7ブロックのDeepPoint生成器は、元の3DRIMRに比べてチェンファーディスタンス（CD）とFスコアの両方で優れている。CDは10.70 cmから7.8 cmに低下した。
• 地球移動距離（EMD）は、3DRIMRの4.66 cmから5ブロックDeepPointモデルの4.56 cmに改善され、形状の忠実度が向上した。
• 5個のDeepPointブロックを用いることで、Fスコアは約55%向上し、形状回復性能が顕著に向上した。
• 最適なDeepPointブロック数は5である。7ブロックに増やすとさらなる向上は最小限にとどまり、性能の plateau（飽和）が確認された。
• 中間特徴と元の入力座標を連結するスキップ接続は性能向上に寄与するが、過剰または不適切な配置の接続は結果を劣化させる。
• ディスクリミネーターにおけるミックスプーリングは、最大プーリングや平均プーリング単体よりも優れており、CDは9.75 cm（最低）、Fスコアは8.47×10⁻²（最高）を達成した。