[논문 리뷰] PMP-Net: Point Cloud Completion by Learning Multi-step Point Moving Paths

Xin Wen, Xiang Peng외 5명|arXiv (Cornell University)|2020. 12. 07.

3D Shape Modeling and AnalysisEngineering참고 문헌 49인용 수 17

한 줄 요약

PMP-Net는 완성되지 않은 포인트 클라우드의 구조적 정밀도를 향상시키기 위해 지구 이동 거리(Earth Mover's Distance, EMD) 정규화를 통한 고유한 포인트 이동 경로(PMP)를 학습하는 다단계 포인트 변형 과정으로서 형태 복구 문제를 새롭게 정의한다. 공손한-세밀한 경로 탐색 전략과 재귀적 경로 집약(RPA) 모듈을 활용하여 Completion3D 및 PCN 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, 생성 기반 기준 모델들을 크게 능가한다.

ABSTRACT

The task of point cloud completion aims to predict the missing part for an incomplete 3D shape. A widely used strategy is to generate a complete point cloud from the incomplete one. However, the unordered nature of point clouds will degrade the generation of high-quality 3D shapes, as the detailed topology and structure of discrete points are hard to be captured by the generative process only using a latent code. In this paper, we address the above problem by reconsidering the completion task from a new perspective, where we formulate the prediction as a point cloud deformation process. Specifically, we design a novel neural network, named PMP-Net, to mimic the behavior of an earth mover. It moves each point of the incomplete input to complete the point cloud, where the total distance of point moving paths (PMP) should be shortest. Therefore, PMP-Net predicts a unique point moving path for each point according to the constraint of total point moving distances. As a result, the network learns a strict and unique correspondence on point-level, which can capture the detailed topology and structure relationships between the incomplete shape and the complete target, and thus improves the quality of the predicted complete shape. We conduct comprehensive experiments on Completion3D and PCN datasets, which demonstrate our advantages over the state-of-the-art point cloud completion methods.

연구 동기 및 목표

• 불완전한 포인트 클라우드에서 세밀한 토폴로지와 구조를 포착하는 데에 한계를 가진 생성 모델의 문제점을 해결하기 위해.
• 불완전한 형태와 완성된 형태 사이에 엄격하고 고유한 포인트 수준의 대응 관계를 설정하여 복구 품질을 향상시키기 위해.
• 직접 생성하는 방식이 아닌, 기하학적 변형 과정으로서의 포인트 클라우드 복구를 재정의하기 위해.
• EMD 유사 정규화를 통해 최적의 총 이동 경로를 학습함으로써 구조적 정밀도를 향상시키기 위해.
• 공손한-세밀한 다단계 경로 탐색 전략을 통해 포인트 궤적을 점진적으로 개선할 수 있도록 하기 위해.

제안 방법

• PMP-Net는 불완전한 클라우드의 각 포인트가 완성된 형태에서 해당하는 위치로 이동하는 다단계 변형 과정으로서 포인트 클라우드 복구를 정의한다.
• GRU에 영감을 얻은 새로운 재귀적 경로 집약(RPA) 모듈을 도입하여 각 포인트의 이전 이동 경로를 기억하고 집약한다.
• 점차 감소하는 탐색 반경을 갖는 공손한-세밀한 경로 탐색 전략을 사용하여 이동 예측을 점진적으로 정밀화한다.
• 지구 이동 거리(EMD) 기반의 포인트 이동 경로(PMP) 손실을 사용하여 학습 과정을 정규화함으로써 총 이동 경로 길이를 최소화하고 고유하고 안정적인 대응 관계를 촉진한다.
• 각 단계에서 현재 위치와 집약된 이전 경로 정보를 조건으로 하여 이동 방향과 길이를 모두 예측한다.
• 모델은 엔드 투 엔드로 학습되어 PMP 손실을 최소화하며, 이는 최종 완성된 포인트 클라우드의 기하학적 일致성과 구조적 정확도를 보장한다.

실험 결과

연구 질문

• RQ1 직접 생성 방식과 비교해 명시적인 포인트 이동 경로를 학습하는 것이 구조적 정밀도 향상에 기여하는가?
• RQ2 총 이동 경로 길이에 대한 EMD 기반 정규화가 예측된 포인트 대응 관계의 고유성과 품질에 어떤 영향을 미치는가?
• RQ3 포인트 클라우드 변형에서 다단계 경로 정밀화를 위한 최적의 단계 수와 탐색 반경 스케일링 전략은 무엇인가?
• RQ4 재귀적 역사 집약을 통합할 경우 단일 단계 또는 비재귀적 접근 방식에 비해 경로 예측 정확도는 얼마나 향상되는가?
• RQ5 단일 단계 변형에 비해 공손한-세밀한 경로 탐색 전략은 복구 품질 향상에 어느 정도 기여하는가?

주요 결과

• PMP-Net는 Completion3D 벤치마크에서 최신 기준 성능을 달성하였으며, 평균 카프먼 거리(CD)는 11.58로 기준 모델을 능가했다.
• 제거 실험 결과, PMP 손실을 제거할 경우 평균 CD가 13.66으로 증가하여, 이는 구조적 정확도 향상에 있어 PMP 손실의 핵심적 역할을 확인한다.
• 반경이 감소하는 3단계 경로 탐색 [1.0, 0.1, 0.01] 전략이 최고의 성능을 보였으며, 4단계는 부작용으로 인해 성능 향상이 둔화되었다.
• 반경이 감소하는 공손한-세밀한 전략 [1.0, 0.1, 0.01] 이 고정 반경 [1.0,1.0,1.0] 및 점진적 감소 전략 [1.0,0.5,0.25] 보다 뛰어난 성능을 보였다.
• 시각적 분석 결과, 공손한-세밀한 전략을 사용한 초기 단계 예측은 더 완전하고 구조적으로 정돈되어 있어 후속 단계에서의 정밀화를 가능하게 했다.
• RPA 모듈은 비재귀적 기반 모델 대비 성능을 크게 향상시켰으며, 단순한 RNN 기반 경로 집약기 대비 평균 CD에서 1.7% 향상되었다.