[논문 리뷰] Morphing and Sampling Network for Dense Point Cloud Completion

Minghua Liu, Lu Sheng외 3명|arXiv (Cornell University)|2019. 11. 30.

3D Shape Modeling and Analysis참고 문헌 37인용 수 28

한 줄 요약

이 논문은 지오메트릭 세부 사항과 구조적 일관성을 유지하면서 균일하게 분포된 고밀도 3D 포인트 클라우드 복원을 위한 이단계형 Morphing 및 Sampling 네트워크를 제안한다. 첫 번째 단계에서는 매개변수화된 표면 요소를 사용하여 겉보기로 구조화된 포인트 클라우드를 생성하고, 중복을 방지하기 위해 확장 페널티를 적용한다. 두 번째 단계에서는 새로운 병합 및 샘플링 전략을 통해 이 포인트 클라우드를 정밀하게 보정하여 고해상도의 균일한 출력을 생성한다. 이 방법은 EMD(지구 이동 거리)를 손실 함수로 사용하여 기존의 최고 성능를 넘어서며, EMD와 Chamfer 거리(CD) 모두에서 뛰어난 성능을 기록한다.

ABSTRACT

3D point cloud completion, the task of inferring the complete geometric shape from a partial point cloud, has been attracting attention in the community. For acquiring high-fidelity dense point clouds and avoiding uneven distribution, blurred details, or structural loss of existing methods' results, we propose a novel approach to complete the partial point cloud in two stages. Specifically, in the first stage, the approach predicts a complete but coarse-grained point cloud with a collection of parametric surface elements. Then, in the second stage, it merges the coarse-grained prediction with the input point cloud by a novel sampling algorithm. Our method utilizes a joint loss function to guide the distribution of the points. Extensive experiments verify the effectiveness of our method and demonstrate that it outperforms the existing methods in both the Earth Mover's Distance (EMD) and the Chamfer Distance (CD).

연구 동기 및 목표

• 불균일한 포인트 분포, 흐릿한 세부 사항, 구조 손실 문제를 겪는 기존의 학습 기반 3D 포인트 클라우드 복원 방법의 한계를 해결한다.
• 고밀도 포인트 클라우드에 대해 포인트 밀도와 기하학적 세부 사항에 민감한 EMD의 특성을 유지하면서도 높은 계산 비용을 줄인다.
• 입력된 부분 포인트 클라우드의 알려진 구조를 복원 과정에서 손상 없이 유지하여 주요 특징의 왜곡이나 누락을 방지한다.
• 고정 크기 출력 모델과 달리 임의의 해상도로 고밀도, 고해상도의 포인트 클라우드를 생성할 수 있는 방법을 개발한다.
• 입력 및 예측 기하학을 효과적으로 통합하면서도 균일한 포인트 분포를 가능하게 하는 새로운 샘플링 전략을 도입한다.

제안 방법

• 첫 번째 단계: 2차원 다각형 표면 요소의 집합을 사용한 오토인코더를 활용하여 완성된 그러나 군집된 포인트 클라우드를 예측한다.
• 각 표면 요소가 국소 영역에 제약을 받도록 확장 페널티를 적용하여 중복을 방지하고 구조적 일관성을 확보한다.
• 두 번째 단계: 새로운 샘플링 알고리즘(MDS 기반)을 사용해 군집된 예측 결과와 입력된 부분 포인트 클라우드를 병합하여 균일하게 분포된 부분집합을 생성한다.
• 병합된 포인트 클라우드를 정밀하게 보정하기 위해 포인트별 잔차 신경망을 적용한다.
• 고밀도 포인트 클라우드에서 효율적인 학습을 위해 지구 이동 거리(EMD)의 경매 알고리즘 기반 근사치를 사용한다.
• 기하학적 정밀도와 분포 균일성을 균형 있게 유지하기 위해 EMD와 CD를 조합한 공동 손실 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 구조화된 표면 요소 예측과 적응형 샘플링을 조합한 이단계적 접근이 종단간(end-to-end) 방법에 비해 완성된 3D 포인트 클라우드의 정밀도와 분포를 향상시키는가?
• RQ2 확장 페널티가 군집된 복원 과정에서 표면 요소의 중첩을 방지하고 국소적이고 일관된 기하학을 유지하는 데 얼마나 효과적인가?
• RQ3 군집된 예측 결과와 입력 포인트 클라우드를 병합함으로써 부분 입력에서의 알려진 구조적 세부 정보가 어느 정도 유지되는가?
• RQ4 MDS 기반의 새로운 샘플링 전략이 FPS와 같은 기존 방법에 비해 균일한 포인트 분포를 달성하면서도 기하학적 정확도를 유지하는 데 뛰어난가?
• RQ5 고밀도 포인트 클라우드 복원 모델의 학습에 있어 효율적인 EMD 근사치는 실현 가능하고 유익한가? 특히 EMD가 CD보다 기하학적 세부 정보와 분포에 더 민감한 점을 고려할 때.

주요 결과

• 제안된 방법은 모든 카테고리에서 평균 EMD(1.14 × 100)와 CD(3.78)가 가장 낮아, 모든 추상화된 버전과 기존 최고 성능 모델을 모두 능가한다.
• 추상화 실험 결과, 확장 페널티를 제거할 경우 평균 EMD는 0.09 증가하고 CD는 0.03 증가하여, 이는 구조적 일관성 유지를 위한 핵심 요소임을 시사한다.
• 병합 단계를 생략할 경우 평균 EMD는 1.29(기존 1.14)로 증가하여, 병합 과정이 입력의 구조를 유지하고 신뢰성을 향상시킨다는 것을 입증한다.
• MDS를 FPS로 대체할 경우 EMD는 0.12 증가(1.21로)하지만 CD는 0.12 감소하여, MDS가 약간 높은 CD를 감수하면서도 더 우수한 분포를 확보한다는 점을 확인한다.
• 정밀 보정 단계를 제거할 경우 EMD는 0.07 증가하고 CD는 0.06 증가하여, 잔차 보정이 세밀한 기하학적 세부 정보 복원에 필수적임을 입증한다.
• EMD 대신 CD를 사용할 경우(Ours-CD), 평균 EMD는 0.14 증가하고 평균 CD는 1.74 증가하여, EMD가 기하학적 정밀도와 분포를 더 잘 포착한다는 점을 확인한다.