[논문 리뷰] Shape Completion via IMLE

Himanshu Arora, S. Mishra외 3명|arXiv (Cornell University)|2021. 06. 30.

3D Shape Modeling and Analysis인용 수 1

한 줄 요약

이 논문은 부분 3D 포인트 클러스터로부터 다대일 매핑을 학습하기 위해 조건부 은닉 최대우도추정법(Conditional Implicit Maximum Likelihood Estimation, IMLE)을 사용하는 다중모odal 형태 완성 방법을 제안한다. 이는 다양한 완성된 형태 생성을 가능하게 하며, 기존의 일대일 매핑 방법에 비해 형태의 다양성과 완성도를 크게 향상시킨다.

ABSTRACT

Shape completion is the problem of completing partial input shapes such as partial scans. This problem finds important applications in computer vision and robotics due to issues such as occlusion or sparsity in real-world data. However, most of the existing research related to shape completion has been focused on completing shapes by learning a one-to-one mapping which limits the diversity and creativity of the produced results. We propose a novel multimodal shape completion technique that is effectively able to learn a one-to-many mapping and generates diverse complete shapes. Our approach is based on the conditional Implicit MaximumLikelihood Estimation (IMLE) technique wherein we condition our inputs on partial 3D point clouds. We extensively evaluate our approach by comparing it to various baselines both quantitatively and qualitatively. We show that our method is superior to alternatives in terms of completeness and diversity of shapes

연구 동기 및 목표

• 기존의 형태 완성 방법이 일대일 매핑에 의존하여 형태의 다양성을 제한하는 점을 해결하기 위해.
• 부분 3D 포인트 클러스터로부터 다양한 실재감 있는 완전한 형태를 생성하기 위해.
• 다중모달 형태 분포를 효과적으로 포착하는 학습 프레임워크를 개발하기 위해.
• 기존 방법에 비해 형태 완성 결과의 완성도와 다양성을 향상시키기 위해.

제안 방법

• 이 방법은 부분 입력이 주어졌을 때 완전한 형태의 분포를 모델링하기 위해 조건부 은닉 최대우도추정법(IMLE)을 사용한다.
• 결함이 있는 기하 구조를 보완할 수 있도록 부분 3D 포인트 클러스터에 조건을 붙여 생성 과정을 유도한다.
• 완전한 형태의 조건부 분포를 모델링하여 다대일 매핑을 학습함으로써 다양한 출력을 가능하게 한다.
• 명시적 밀도 추정을 피하기 위해 암시적 우도 추정을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 깊은 신경망을 사용하여 조건부 생성 함수를 파arameter화한다.
• 학습된 조건부 분포에서 샘플링함으로써 다중모달 생성을 지원한다.

실험 결과

연구 질문

• RQ1 형태 완성 방법이 부분 입력으로부터 다양한 형태를 생성하기 위해 다대일 매핑을 효과적으로 학습할 수 있는가?
• RQ2 조건부 IMLE는 기존의 일대일 매핑 방법에 비해 형태의 다양성과 완성도 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 다양한 부분 스캔 패턴과 형태에 대해 얼마나 잘 일반화되는가?
• RQ4 다중모달 모델링은 생성된 형태의 현실감과 구조적 정합성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 일대일 매핑을 학습하는 베이스라인에 비해 형태의 다양성 측면에서 뛰어난 성능을 달성한다.
• 정량적 평가 결과, 생성된 형태의 완성도가 향상되었음을 확인하여 결함이 있는 부분의 재구성 능력이 뛰어남을 시사한다.
• 정성적 결과는 모델이 다양한, 타당성 있고 구조적으로 일관된 완전한 형태를 생성함을 보여준다.
• 이 방법은 다중모달 형태 분포를 효과적으로 포착하여 동일한 부분 입력에 대해 여러 가지 타당한 완성 결과를 생성한다.
• 조건부 IMLE의 사용은 명시적 밀도 모델링 없이도 안정적인 훈련과 고품질의 생성을 가능하게 한다.
• 이 방법은 다양한 부분 스캔 유형과 물체 유형에 대해 잘 일반화된다.