[논문 리뷰] Cycle4Completion: Unpaired Point Cloud Completion using Cycle Transformation with Missing Region Coding

Xin Wen, Zhizhong Han외 4명|arXiv (Cornell University)|2021. 03. 14.

3D Shape Modeling and Analysis참고 문헌 52인용 수 8

한 줄 요약

Cycle4Completion은 완전한 형태의 잠재 공간과 불완전한 형태의 잠재 공간 간 이중 방향 순환 변환을 활용하여 기하학적 이해와 완성 정확도를 향상시키는 새로운 비쌍점 클러스터 완성 방법을 제안한다. 순환 학습에서의 대상 혼동 문제를 해결하기 위해 학습 가능한 부족 영역 인코딩을 도입함으로써, 기존 비쌍 방법 대비 평균 14.6×10⁴의 Chamfer Distance 감소를 달성하여 최신 기술 수준(SOTA) 성능을 확보한다.

ABSTRACT

In this paper, we present a novel unpaired point cloud completion network, named Cycle4Completion, to infer the complete geometries from a partial 3D object. Previous unpaired completion methods merely focus on the learning of geometric correspondence from incomplete shapes to complete shapes, and ignore the learning in the reverse direction, which makes them suffer from low completion accuracy due to the limited 3D shape understanding ability. To address this problem, we propose two simultaneous cycle transformations between the latent spaces of complete shapes and incomplete ones. The insight of cycle transformation is to promote networks to understand 3D shapes by learning to generate complete or incomplete shapes from their complementary ones. Specifically, the first cycle transforms shapes from incomplete domain to complete domain, and then projects them back to the incomplete domain. This process learns the geometric characteristic of complete shapes, and maintains the shape consistency between the complete prediction and the incomplete input. Similarly, the inverse cycle transformation starts from complete domain to incomplete domain, and goes back to complete domain to learn the characteristic of incomplete shapes. We provide a comprehensive evaluation in experiments, which shows that our model with the learned bidirectional geometry correspondence outperforms state-of-the-art unpaired completion methods.

연구 동기 및 목표

• 불완전한 형태에서 완전한 형태로의 단방향 대응 관계만 학습하는 비쌍 점군 완성 방법의 한계를 해결하기 위해.
• 불완전한 형태와 완전한 형태 간의 이중 방향 기하학적 대응 관계를 학습하여 완성 정확도를 향상시키기 위해.
• 동일한 완전한 형태가 여러 개의 서로 다른 불완전한 형태로 매핑되는 순환 학습에서의 대상 혼동 문제를 해결하기 위해.
• 양방향으로 형태 일관성을 유지하는 순환 변환을 통해 3D 형태 이해를 향상시키기 위해.

제안 방법

• 이중 방향 순환 변환을 적용한다: 하나는 불완전한 형태에서 완전한 형태로, 다시 불완전한 형태로 되돌아오는 변환이고, 다른 하나는 완전한 형태에서 불완전한 형태로, 다시 완전한 형태로 되돌아오는 변환으로, 이중 방향 학습을 가능하게 한다.
• 학습 가능한 부족 영역 인코딩(MRC) 모듈은 불완전한 형태를 완전한 형태 표현과 부족 영역에 대한 코드로 분해하여 대상 혼동을 감소시킨다.
• 순환 변환 프레임워크는 국소 매칭 손실과 순환 매칭 손실을 사용하여 변환 간의 형태 일관성을 강제한다.
• 생성자 손실, 순환 매칭 손실, 국소 매칭 손실을 선택적 파라미터 업데이트와 함께 공동 최적화하여 모드 붕괴를 방지한다.
• 공유된 특징을 통해 이중 도메인 간 정렬을 보장하는 자동에코더 기반 아키텍처를 사용하여 양 도메인의 형태를 인코딩하고 디코딩한다.
• 공유된 파라미터로 순환 매칭 손실을 업데이트함으로써 트레이닝 안정성을 확보하며, 이중 도메인 자동에코딩에서 발생할 수 있는 불안정성을 방지한다.

실험 결과

연구 질문

• RQ1 불완전한 형태와 완전한 형태의 잠재 공간 간 이중 방향 순환 학습이 비쌍 설정에서 점군 완성 성능을 향상시킬 수 있는가?
• RQ2 순환 학습 중에 동일한 완전한 형태가 여러 개의 서로 다른 불완전한 형태로 매핑되는 대상 혼동 문제는 어떻게 해결할 수 있는가?
• RQ3 부족 영역 인코딩을 통합함으로써 순환 기반 완성 네트워크의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 손실 가중치 전략은 형태 일관성과 완성 품질 간의 균형에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다양한 물체 카테고리, 특히 다양한 희소성과 부분성 수준을 가진 경우에도 일반화 가능한가?

주요 결과

• 전체 Cycle4Completion 모델은 ShapeNet의 모든 카테고리 평균 Chamfer Distance가 9.1×10⁴을 기록하여 기존 비쌍 방법을 초월한다.
• 국소 매칭 손실을 제거하면(λₚ = 0), CD는 18.8×10⁴로 증가하여 형태 유지에 핵심적인 역할을 한다는 점을 입증한다.
• 순환 매칭 손실(λc)은 일관성 확보에 필수적이다: λc = 1.0이고 λp = 0일 경우 CD는 8.9×10⁴로 떨어지며, 순환 학습 자체만으로도 강력한 성능을 낼 수 있음을 보여준다.
• 입력 해상도에 관계없이 안정적인 성능을 유지하며, 256점일 경우 CD는 14.4×10⁴에서 2048점일 경우 9.1×10⁴로 감소하여 희소 입력에 대한 강력한 일반화 능력을 보여준다.
• 순환 매칭 손실과 국소 매칭 손실을 공동 최적화함으로써 모드 붕괴를 방지할 수 있으며, 자동에코더와 변환 네트워크를 동시에 업데이트할 경우 붕괴가 발생한다.
• 절단 분석 결과, 부족 영역 인코딩 모듈이 대상 혼동을 감소시키고 특히 의자나 캐비닛과 같은 복잡한 형태에서 완성 품질을 향상시킨다는 점을 확인한다.