[논문 리뷰] Multimodal Shape Completion via IMLE

Himanshu Arora, S. Mishra외 3명|arXiv (Cornell University)|2021. 06. 30.

3D Shape Modeling and Analysis참고 문헌 1인용 수 6

한 줄 요약

이 논문은 부분 점군에서 다각도적이고 구조적으로 다양하게 완성된 3D 모양을 생성하기 위해 암묵적 최대우도추정(IMLE)을 사용하는 새로운 다중모odal 형태 완성 방법을 제안한다. GAN에서 발생하는 모드 붕괴 문제를 피함으로써, 이전 방법들에 비해 더 뛰어난 다양성과 기하학적 유지도를 달성하며, 총 상호차이수와 경쟁적인 단방향 하우스도르프 거리에서 최신 기술 수준의 성능을 보인다.

ABSTRACT

Shape completion is the problem of completing partial input shapes such as partial scans. This problem finds important applications in computer vision and robotics due to issues such as occlusion or sparsity in real-world data. However, most of the existing research related to shape completion has been focused on completing shapes by learning a one-to-one mapping which limits the diversity and creativity of the produced results. We propose a novel multimodal shape completion technique that is effectively able to learn a one-to-many mapping and generates diverse complete shapes. Our approach is based on the conditional Implicit MaximumLikelihood Estimation (IMLE) technique wherein we condition our inputs on partial 3D point clouds. We extensively evaluate our approach by comparing it to various baselines both quantitatively and qualitatively. We show that our method is superior to alternatives in terms of completeness and diversity of shapes.

연구 동기 및 목표

• 단일 출력이 아닌 여러 가능한 완성 결과를 생성함으로써 형태 완성 문제의 부족한 정의 문제를 해결하기 위해.
• 조건부 GAN에서 발생하는 모드 붕괴 문제를 극복하여 생성된 형태의 구조적 다양성을 제한하는 문제를 해결하기 위해.
• IMLE를 사용하여 형태 완성에 대해 일대다 매핑을 개발함으로써, 다양하고 기하학적 특성을 고려한 완성 결과를 생성하기 위해.
• 부분 수준의 감독 없이도 예측할 수 없는 부 incomplete한 형태, 특히 전체 부위가 누락된 형태에 일반화할 수 있도록 하기 위해.
• 조건부 GAN보다 더 낮은 학습 및 추론 비용으로 높은 성능을 달성하기 위해.

제안 방법

• 이 방법은 조건부 IMLE를 사용하여, 부분 점군과 임의의 노이즈에서 잠재 코드를 추출해 완성된 형태로 매핑하는 생성자 모델을 학습한다.
• 오토인코더는 부분 입력을 인코딩하고 완성된 형태를 재구성하며, 생성자는 유도 가능한 샘플링을 통해 암묵적 우도를 최소화하도록 학습된다.
• 디코더는 잠재 코드에서 생성된 형태를 재구성하며, 판별자 없이 기울기 기반 업데이트를 통해 모델이 최적화된다.
• 생성자는 암묵적 우도 목표의 유도 가능한 근사치를 사용하여 학습되며, GAN보다 파rameter 수가 적은 엔드 투 엔드 학습이 가능하다.
• 인코더와 디코더에는 1차원 컨볼루션 레이어와 배치 정규화를 사용하며, 생성자에는 선형 레이어를 사용한다.
• 추론 과정에서는 각 부분 형태당 10개의 샘플을 생성하여 다양성과 완성도를 평가한다.

실험 결과

연구 질문

• RQ1 IMLE 기반 학습이 단일 부분 점군 입력에서 구조적으로 다양한 3D 형태를 효과적으로 생성할 수 있는가?
• RQ2 제안된 방법이 조건부 GAN보다 모드 붕괴를 더 잘 피할 수 있는가? 이는 더 다양한 완성 결과를 이끌어내는가?
• RQ3 부분 수준의 감독 없이도 전체 부위가 누락된 형태와 같은 불완전한 형태에 일반화할 수 있는가?
• RQ4 다양성(총 상호차이수)과 형태 충실도(단방향 하우스도르프 거리) 측면에서 정량적으로 성능은 어떻게 되는가?
• RQ5 조건부 GAN에 비해 학습 및 추론 효율성에서 어떤 개선이 이루어지는가?

주요 결과

• 제안된 방법은 노이즈가 있는 입력에서 총 상호차이수 2.71 × 10⁻²를 기록하여 강력한 구조적 다양성을 보였다.
• 노이즈가 있는 입력에서 단방향 하우스도르프 거리 8.84 × 10⁻²를 기록하여 입력 오염에 대한 강건성을 입증했다.
• 로버스트포인트셋과 같은 새로운 데이터셋에 잘 일반화되어, 노이즈와 회전 등의 복잡한 잡음이 있는 형태도 성공적으로 완성했다.
• 조건부 GAN보다 빠른 학습(13.5시간)과 빠른 추론(1형상당 2ms)을 달성했으며, 조건부 GAN은 1초당 20ms의 학습 시간이 필요했다.
• 부분 수준의 감독 없이도 정확한 기하학적 형태와 대칭성을 갖춘 부위를 정확한 위치에 생성하는 능력을 습득했다.
• 전역적 노이즈를 삽입한 상황에서도 구조적으로 다양한 완성 결과를 생성했으며, 이는 누락된 부위에서 局소적 다양성이 존재함을 시사한다.