[논문 리뷰] DeepPoint: A Deep Learning Model for 3D Reconstruction in Point Clouds via mmWave Radar

Yue Sun, Honggang Zhang외 2명|arXiv (Cornell University)|2021. 09. 19.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 6

한 줄 요약

DeepPoint는 mmWave 레이더 신호에서 유도된 흐린, 노이즈가 많은 희박한 3D 포인트 클라우드에서 고품질, 고밀도, 부드러운 3D 포인트 클라우드를 생성하는 조건부 GAN 기반 딥러닝 모델을 제안한다. 최적화된 DeepPoint 블록의 스택과 스케일 연결, 믹스 풀링 디스criminator를 활용함으로써 기존 3DRIMR 대비 3D 재구성 성능을 크게 향상시켜 벤치마크 데이터셋에서 더 낮은 카프먼 거리(CD)와 더 높은 F-score를 달성한다.

ABSTRACT

Recent research has shown that mmWave radar sensing is effective for object detection in low visibility environments, which makes it an ideal technique in autonomous navigation systems such as autonomous vehicles. However, due to the characteristics of radar signals such as sparsity, low resolution, specularity, and high noise, it is still quite challenging to reconstruct 3D object shapes via mmWave radar sensing. Built on our recent proposed 3DRIMR (3D Reconstruction and Imaging via mmWave Radar), we introduce in this paper DeepPoint, a deep learning model that generates 3D objects in point cloud format that significantly outperforms the original 3DRIMR design. The model adopts a conditional Generative Adversarial Network (GAN) based deep neural network architecture. It takes as input the 2D depth images of an object generated by 3DRIMR's Stage 1, and outputs smooth and dense 3D point clouds of the object. The model consists of a novel generator network that utilizes a sequence of DeepPoint blocks or layers to extract essential features of the union of multiple rough and sparse input point clouds of an object when observed from various viewpoints, given that those input point clouds may contain many incorrect points due to the imperfect generation process of 3DRIMR's Stage 1. The design of DeepPoint adopts a deep structure to capture the global features of input point clouds, and it relies on an optimally chosen number of DeepPoint blocks and skip connections to achieve performance improvement over the original 3DRIMR design. Our experiments have demonstrated that this model significantly outperforms the original 3DRIMR and other standard techniques in reconstructing 3D objects.

연구 동기 및 목표

• 낮은 해상도, 희박하고 노이즈가 많은 mmWave 레이더 포인트 클라우드에서 고정밀 3D 객체 형상을 재구성하는 과제를 해결하기 위해.
• 특히 뿌연 것 같고 구조가 불완전한 포인트 클라우드를 생성하는 3DRIMR의 Stage 2를 개선하기 위해.
• 다중 시야, 열악한 입력 포인트 클라우드를 융합하여 일관되고 고밀도이며 기하학적으로 정확한 3D 형상을 생성할 수 있는 딥 제너레이터 네트워크를 설계하기 위해.
• 성능 향상을 위해 레이어 수, 스케일 연결, 디스criminator 풀링 전략과 같은 아키텍처 구성 요소를 최적화하기 위해.

제안 방법

• 모델은 제너레이터가 다수의 레이더 시점에서 유도된 통합된, 거친, 희박한 3D 포인트 클라우드를 입력으로 사용하는 조건부 GAN 아키텍처를 사용한다.
• 제너레이터는 DeepPoint 블록의 시퀀스를 활용하며, 각 블록은 공유된 MLP를 통해 포인트 특징을 확장하고, 다시 3D 좌표로 압축하여 기하학적 구조를 정밀하게 개선한다.
• 스케일 연결을 통해 원본 입력 좌표를 유지하고 특징 전파를 향상시켜 재구성 정밀도를 향상시킨다.
• 디스criminator는 최대 풀링과 평균 풀링의 연결을 통해 강력한 글로벌 특징을 추출하기 위해 믹스 풀링을 사용한다.
• 제너레이터는 적대적 손실과 지구 이동 거리(EMD)의 조합으로 훈련되어 형상 유사도를 향상시킨다.
• 모델은 원시 레이더 신호를 2D 깊이 이미지로 변환하는 3DRIMR의 Stage 1을 거친 mmWave 레이더 데이터를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 최적화된 아키텍처를 갖춘 딥 제너레이터 네트워크는 원래 3DRIMR 대비 mmWave 레이더 입력에서 3D 포인트 클라우드 재구성 성능을 향상시킬 수 있는가?
• RQ2 과적합을 방지하면서 깊이와 성능을 균형 잡는 데 최적의 DeepPoint 블록 수는 얼마인가?
• RQ3 노이즈가 많고 희박한 입력이 있는 상황에서 스케일 연결은 재구성된 3D 포인트 클라우드 품질에 어떤 영향을 미치는가?
• RQ4 디스criminator에서 믹스 풀링은 최대 풀링이나 평균 풀링만 사용하는 것보다 더 나은 특징 학습과 향상된 재구성 성능을 이끌어내는가?
• RQ5 조건부 GAN 프레임워크는 mmWave 기반 3D 재구성에서 기하학적 세부 정보와 부드러움을 얼마나 향상시킬 수 있는가?

주요 결과

• 5-블록 및 7-블록 DeepPoint 제너레이터는 원래 3DRIMR 대비 카프먼 거리(CD)와 F-score 모두에서 뛰어난 성능을 보였으며, CD는 10.70 cm에서 7.8 cm로 감소했다.
• 지구 이동 거리(EMD)는 3DRIMR의 4.66 cm에서 5-블록 DeepPoint 모델의 4.56 cm로 향상되어 형상 유지도가 향상됨을 시사한다.
• 5개의 DeepPoint 블록을 사용할 경우 F-score가 원래 3DRIMR 대비 약 55% 향상되어 더 뛰어난 형상 복구 능력을 보였다.
• 최적의 DeepPoint 블록 수는 5개이며, 7개로 늘릴 경우 성능 향상이 미미하여 성능 포화 상태에 도달함을 시사한다.
• 중간 특징과 원본 입력 좌표를 연결하는 스케일 연결은 성능 향상에 기여하지만, 과도하거나 부적절하게 배치된 연결은 결과를 악화시킨다.
• 디스criminator에서 믹스 풀링은 최대 풀링과 평균 풀링 각각을 사용하는 것보다 뛰어나, 가장 낮은 CD(9.75 cm)와 가장 높은 F-score(8.47×10⁻²)를 기록했다.