[论文解读] DeepPoint: A Deep Learning Model for 3D Reconstruction in Point Clouds via mmWave Radar

Yue Sun, Honggang Zhang+2 more|arXiv (Cornell University)|Sep 19, 2021

Robotics and Sensor-Based Localization参考文献 24被引用 6

一句话总结

DeepPoint 提出了一种基于条件 GAN 的深度学习模型，能够从来自毫米波雷达信号的稀疏、噪声较大的输入点云中生成高质量、密集且平滑的 3D 点云。通过采用经过优化的 DeepPoint 块堆叠结构并结合跳跃连接与混合池化判别器，该方法在原始 3DRIMR 的基础上显著提升了 3D 重建性能，在基准数据集上实现了更低的 Chamfer 距离（CD）和更高的 F-score。

ABSTRACT

Recent research has shown that mmWave radar sensing is effective for object detection in low visibility environments, which makes it an ideal technique in autonomous navigation systems such as autonomous vehicles. However, due to the characteristics of radar signals such as sparsity, low resolution, specularity, and high noise, it is still quite challenging to reconstruct 3D object shapes via mmWave radar sensing. Built on our recent proposed 3DRIMR (3D Reconstruction and Imaging via mmWave Radar), we introduce in this paper DeepPoint, a deep learning model that generates 3D objects in point cloud format that significantly outperforms the original 3DRIMR design. The model adopts a conditional Generative Adversarial Network (GAN) based deep neural network architecture. It takes as input the 2D depth images of an object generated by 3DRIMR's Stage 1, and outputs smooth and dense 3D point clouds of the object. The model consists of a novel generator network that utilizes a sequence of DeepPoint blocks or layers to extract essential features of the union of multiple rough and sparse input point clouds of an object when observed from various viewpoints, given that those input point clouds may contain many incorrect points due to the imperfect generation process of 3DRIMR's Stage 1. The design of DeepPoint adopts a deep structure to capture the global features of input point clouds, and it relies on an optimally chosen number of DeepPoint blocks and skip connections to achieve performance improvement over the original 3DRIMR design. Our experiments have demonstrated that this model significantly outperforms the original 3DRIMR and other standard techniques in reconstructing 3D objects.

研究动机与目标

• 解决从低分辨率、稀疏且噪声较大的毫米波雷达点云中重建高保真 3D 物体形状的挑战。
• 改进 3DRIMR 框架，特别是其 Stage 2，该阶段生成的点云模糊且结构不佳。
• 设计一个深度生成器网络，能够将多视角、不完美的输入点云融合为一致、密集且几何精确的 3D 形状。
• 优化网络架构组件，如层数、跳跃连接以及判别器池化策略，以提升性能。

提出的方法

• 该模型采用条件 GAN 架构，其中生成器以多个雷达视角的联合、粗糙且稀疏的 3D 点云作为输入。
• 生成器采用一系列 DeepPoint 块——每个块通过共享的多层感知机扩展点特征，随后将其还原回 3D 坐标以优化几何结构。
• 跳跃连接用于保留原始输入坐标并改善特征传播，从而提升重建保真度。
• 判别器采用混合池化（最大池化与平均池化的拼接）以提取鲁棒的全局特征，用于对抗性训练。
• 生成器通过对抗损失与 Earth Mover’s Distance（EMD）的组合进行训练，以提升形状相似性。
• 该模型在经过 3DRIMR 的 Stage 1 处理后的毫米波雷达数据上进行端到端训练，该阶段将原始雷达信号转换为 2D 深度图像。

实验结果

研究问题

• RQ1 与原始 3DRIMR 相比，经过架构优化的深度生成器网络是否能提升从毫米波雷达输入中重建 3D 点云的性能？
• RQ2 在保证深度与性能的同时，生成器中 DeepPoint 块的最佳数量是多少，以避免过拟合？
• RQ3 在存在噪声和稀疏输入的情况下，跳跃连接如何影响重建 3D 点云的质量？
• RQ4 判别器中采用的混合池化是否相比仅使用最大池化或平均池化，能带来更好的特征学习与更优的重建效果？
• RQ5 条件 GAN 框架在多大程度上能增强基于毫米波雷达的 3D 重建中的几何细节与平滑度？

主要发现

• 5-Block 和 7-Block 的 DeepPoint 生成器在 Chamfer 距离（CD）和 F-score 上均优于原始 3DRIMR，CD 从 10.70 cm 降低至 7.8 cm。
• Earth Mover’s Distance（EMD）从 3DRIMR 的 4.66 cm 改善至 5-Block DeepPoint 模型的 4.56 cm，表明形状保真度更高。
• 与原始 3DRIMR 相比，使用 5 个 DeepPoint 块时 F-score 提升约 55%，证明了更优的形状恢复能力。
• 最优的 DeepPoint 块数量为 5 个；增加至 7 个仅带来微小的进一步改进，表明性能已趋于饱和。
• 将中间特征与原始输入坐标进行拼接的跳跃连接可提升性能，但过多或位置不当的连接会降低结果质量。
• 判别器中的混合池化优于最大池化与平均池化，实现了最低的 CD（9.75 cm）与最高的 F-score（8.47×10⁻²）