[논문 리뷰] P2C: Self-Supervised Point Cloud Completion from Single Partial Clouds

Ruikai Cui, Shi Qiu외 5명|arXiv (Cornell University)|2023. 07. 27.

3D Shape Modeling and Analysis참고 문헌 41인용 수 4

한 줄 요약

P2C는 각 객체당 단일 부분 스캔에서만 훈련하는 최초의 자기지도(point cloud completion) 프레임워크를 제안한다. 이는 완전한 형상이나 다중 시야 자료가 필요 없도록 한다. 영역 인지 Chamfer 거리와 법선 일致성 제약 조건을 사용함으로써, 합성 및 실세계 데이터 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 완전한 진정값을 사용해 훈련된 방법들을 능가한다.

ABSTRACT

Point cloud completion aims to recover the complete shape based on a partial observation. Existing methods require either complete point clouds or multiple partial observations of the same object for learning. In contrast to previous approaches, we present Partial2Complete (P2C), the first self-supervised framework that completes point cloud objects using training samples consisting of only a single incomplete point cloud per object. Specifically, our framework groups incomplete point clouds into local patches as input and predicts masked patches by learning prior information from different partial objects. We also propose Region-Aware Chamfer Distance to regularize shape mismatch without limiting completion capability, and devise the Normal Consistency Constraint to incorporate a local planarity assumption, encouraging the recovered shape surface to be continuous and complete. In this way, P2C no longer needs multiple observations or complete point clouds as ground truth. Instead, structural cues are learned from a category-specific dataset to complete partial point clouds of objects. We demonstrate the effectiveness of our approach on both synthetic ShapeNet data and real-world ScanNet data, showing that P2C produces comparable results to methods trained with complete shapes, and outperforms methods learned with multiple partial observations. Code is available at https://github.com/CuiRuikai/Partial2Complete.

연구 동기 및 목표

• 완전한 3D 형상가 확보되지 않거나 확보하는 데 비용이 많이 들 때 포인트 클라우드 복원 문제를 해결하기 위해.
• 훈련 과정에서 짝지어진 부분-완전 형상 데이터, 다중 시야 자료, 또는 완전한 형상 감독에 의존하지 않도록 하기 위해.
• 동일한 객체 카테고리의 단일 부분 관측에서 구조적 사전 지식을 학습할 수 있는 자기지도 프레임워크를 개발하기 위해.
• 지오메트릭 사전 지식, 예를 들어 국소 평탄성과 형상 일致성 등을 통합함으로써 복원 품질을 향상시키기 위해.
• 단일 시야 부분 스캔로부터 유도된 약한 감독 신호를 통합해 강력하고 확장 가능한 훈련 체계를 통합하기 위해.

제안 방법

• 불완전한 포인트 클라우드를 국소 패치로 그룹화하여 연속적인 표면 영역을 모델링하고, 마스크된 패치 예측을 가능하게 한다.
• 관측된 영역 근처의 점들만 고려해 거리를 계산하는 Region-Aware Chamfer Distance(RCD)를 도입하여, 누락된 영역에 대한 처벌을 방지하고 외곽선을 제약한다.
• 사이클 일치성에 기반한 잠재적 재구성 손실을 통해 동일한 객체의 서로 다른 부분 영역을 복원했을 때 일관된 전체 형상을 얻도록 보장한다.
• 법선 일치성 제약(NCC)은 근처 점들 간의 법선 벡터 유사성의 분산을 최소화하여 국소 표면의 연속성을 강화한다.
• RCD와 NCC를 표준 재구성 손실과 결합하여 복원을 이끄는 同시에 형상의 완전성 유지와 아티팩트 감소를 달성한다.
• 완전한 진정값이나 다중 시야 정렬이 필요 없이, 각 객체당 단일 부분 스캔만을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 완전한 형상 감독 없이도 각 객체당 단일 부분 스캔만을 사용해 포인트 클라우드 복원을 효과적으로 훈련시킬 수 있는가?
• RQ2 자기지도 프레임워크는 동일한 객체 카테고리 내에서 다양한 누락된 부분을 바탕으로 어떻게 구조적 사전 지식을 학습할 수 있는가?
• RQ3 관측된 영역에 과적합되지 않으면서도 누락된 기하학적 구조를 회복할 수 있도록 가장 효과적인 손실 함수는 무엇인가?
• RQ4 국소 평탄성과 같은 지오메트릭 사전 지식을 어떻게 통합하여 복원 결과의 표면 연속성을 향상시킬 수 있는가?
• RQ5 완전한 형상이 확보되지 않은 상황에서 자기지도 방법이 감독 또는 약한 감독 기반의 기존 방법들을 능가할 수 있는가?

주요 결과

• P2C는 합성 ShapeNet 및 실세계 ScanNet 데이터셋 모두에서 최신 기술 수준(SOTA) 성능을 달성했으며, 완전한 진정값을 사용해 훈련된 모델들을 초월한다.
• 절단 분석 결과, Region-Aware Chamfer Distance(RCD)를 추가함으로써 기준 모델 대비 Chamfer Distance가 5.1 감소하여 복원 능력 향상을 입증한다.
• 잠재적 재구성 손실을 통합하면 성능이 추가로 향상되며, RCD 전용 훈련 대비 CD-ℓ₂가 1.5 감소한다.
• 법선 일치성 제약(NCC)이 가장 우수한 전체 성능을 달성하여, 3D-EPN 데이터셋에서 CD-ℓ₂가 11.2를 기록하며 평균 또는 최소 법선 유사성 기반 대안들을 능가한다.
• 품질 분석과 정량적 분석을 통해 모델이 외곽선 생성을 크게 줄이고 표면 연속성을 향상시킴을 입증하였다.
• 훈련 과정에서 단일 부분 스캔만을 사용했음에도 불구하고, 실세계 데이터에 대해 뛰어난 일반화 능력을 보이며 고품질의 복원 결과를 생성한다.