[논문 리뷰] A Self-supervised Cascaded Refinement Network for Point Cloud Completion.

Xiaogang Wang, Marcelo H. Ang외 1명|arXiv (Cornell University)|2020. 10. 17.

3D Shape Modeling and Analysis참고 문헌 70인용 수 4

한 줄 요약

이 논문은 완전한 지도 데이터가 필요로 하지 않는 3D 포인트 클라우드 복원을 위한 자기지도형 계단식 정밀화 네트워크(CRN)를 제안한다. 부분적인 입력에 대해서만 적대적 훈련을 활용한 굵은단계에서 세밀한 단계로의 정밀화 전략을 통해, 다양한 데이터셋에서 정량적·정성적 평가에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point clouds are often sparse and incomplete, which imposes difficulties for real-world applications, such as 3D object classification, detection and segmentation. Existing shape completion methods tend to generate coarse shapes of objects without fine-grained details. Moreover, current approaches require fully-complete ground truth, which are difficult to obtain in real-world applications. In view of these, we propose a self-supervised object completion method, which optimizes the training procedure solely on the partial input without utilizing the fully-complete ground truth. In order to generate high-quality objects with detailed geometric structures, we propose a cascaded refinement network (CRN) with a coarse-to-fine strategy to synthesize the complete objects. Considering the local details of partial input together with the adversarial training, we are able to learn the complicated distributions of point clouds and generate the object details as realistic as possible. We verify our self-supervised method on both unsupervised and supervised experimental settings and show superior performances. Quantitative and qualitative experiments on different datasets demonstrate that our method achieves more realistic outputs compared to existing state-of-the-art approaches on the 3D point cloud completion task.

연구 동기 및 목표

• 분류, 검출, 분할과 같은 실세계 3D 비전 응용 분야에서 흩어져 있고 불완전한 포인트 클라우드의 과제를 해결하기 위해.
• 기존 방법이 종종 실생활에서 확보하기 어려운 완전한 지도 데이터에 의존하는 한계를 극복하기 위해.
• 완전한 지도 없이 부분적인 입력 데이터만으로 최적화하는 자기지도형 훈련 프레임워크를 개발하기 위해.
• 粗-세밀한 단계별 정밀화 과정을 통해 현실적인 기하학적 구조를 갖춘 고품질의 세밀한 3D 형태를 생성하기 위해.

제안 방법

• 이 방법은 굵은단계에서 세밀한 단계로 점진적으로 정밀화하는 계단식 정밀화 네트워크(CRN)를 활용한다.
• 완전한 지도 데이터가 필요 없이 부분적인 입력 포인트 클러스터에만 의존하는 자기지도형 훈련 프레임워크를 사용한다.
• 정밀화 과정 중에 부분 입력에서 유도된 局부 기하학적 세부 정보를 명시적으로 고려하여 구조적 정밀도를 유지한다.
• 생성된 포인트 클라우드의 세부 사항의 현실감을 향상시키고 분포 모델링을 개선하기 위해 적대적 훈련을 통합한다.
• 부분 입력에서 재구성 및 적대적 목표를 결합한 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 粗-세밀한 전략은 점진적인 정밀화를 가능하게 하여 모델이 복잡한 포인트 클라우드 분포를 학습하고 세밀한 기하학적 구조를 생성하도록 한다.

실험 결과

연구 질문

• RQ1 완전한 지도 데이터가 없이도 자기지도형 방법이 고품질의 3D 포인트 클라우드 복원을 달성할 수 있는가?
• RQ2 계단식 정밀화 네트워크는 불완전한 포인트 클라우드에서 세밀한 기하학적 구조를 얼마나 효과적으로 생성하는가?
• RQ3 단지 부분 입력에 대한 적대적 훈련만으로도 완성된 3D 형태의 현실감과 정밀도를 향상시킬 수 있는가?
• RQ4 제안된 방법은 자기지도형 및 지도형 설정 모두에서 지도 기반 최신 기술 수준의 접근 방식과 어떻게 비교되는가?
• RQ5 부분 입력에서 유도된 局부 세부 정보를 통합할 경우 완성 품질은 어느 정도 향상되는가?

주요 결과

• 제안된 방법은 3D 포인트 클라우드 복원 분야에서 기존 최신 기술 수준의 접근 방식과 비교해 정량적·정성적 평가 모두에서 뛰어난 성능을 달성한다.
• 훈련 중에 완전한 지도 데이터에 접근할 수 없음에도 불구하고, 기준 모델보다 더 현실적이고 세밀한 3D 형태를 생성한다.
• 자기지도형 훈련 전략은 부분 입력 데이터만으로도 효과적인 최적화를 가능하게 하여 실세계 응용에 실용적인 방법이 된다.
• 계단식 정밀화 메커니즘은 다중 단계에 걸쳐 세밀한 기하학적 세부 정보를 성공적으로 캡처하고 강화한다.
• 모델은 자기지도형 및 지도형 실험 환경 모두에서 뛰어난 일반화 능력을 보이며 우수한 성능을 발휘한다.
• 적대적 훈련은 정성적 분석을 통해 생성된 포인트 클라우드 세부 사항의 현실감을 크게 향상시킴을 확인한다.