[논문 리뷰] Multimodal Shape Completion via Conditional Generative Adversarial Networks

Rundi Wu, Xuelin Chen외 2명|arXiv (Cornell University)|2020. 03. 17.

3D Shape Modeling and Analysis참고 문헌 38인용 수 6

한 줄 요약

이 논문은 쌍화된 훈련 데이터가 없이도 불완전한 포인트 클라우드에서 다양한 고품질의 완성형을 생성할 수 있는 조건부 생성 적대적 네트워크(cGAN)를 제안한다. 완전한 형태로부터 다중모드 잠재 분포를 학습하고 이를 조건부로 삼아 생성함으로써, 결과적으로 높은 다양성과 정확도를 동시에 확보한다. 정성적 및 정량적 평가에서 단일 출력 기반 기준 모델들을 능가한다.

ABSTRACT

Several deep learning methods have been proposed for completing partial data from shape acquisition setups, i.e., filling the regions that were missing in the shape. These methods, however, only complete the partial shape with a single output, ignoring the ambiguity when reasoning the missing geometry. Hence, we pose a multi-modal shape completion problem, in which we seek to complete the partial shape with multiple outputs by learning a one-to-many mapping. We develop the first multimodal shape completion method that completes the partial shape via conditional generative modeling, without requiring paired training data. Our approach distills the ambiguity by conditioning the completion on a learned multimodal distribution of possible results. We extensively evaluate the approach on several datasets that contain varying forms of shape incompleteness, and compare among several baseline methods and variants of our methods qualitatively and quantitatively, demonstrating the merit of our method in completing partial shapes with both diversity and quality.

연구 동기 및 목표

• 기존 형상 완성 방법이 결함이 있는 기하학적 구조의 본질적 모호성과 무관하게 단일 결정론적 출력만 생성하는 한계를 해결하기 위해.
• 가능한 완성형의 다중모드 분포를 학습하여 형상 완성의 일대다 매핑을 모델링하기 위해.
• 조건부 생성 모델링과 명시적 모드 인코더를 활용하여 쌍화된 훈련 데이터 없이도 다중모드 완성을 가능하게 하기 위해.
• 완전한 형상의 분포를 모델링하기 위해 전용 인코더를 훈련시켜 잠재 공간 내의 모드 붕괴를 완화하기 위해.

제안 방법

• 생성자(generator)가 부분형과 잠재 벡터를 입력으로 받아 조건부로 완성된 형상을 생성하는 조건부 GAN 프레임워크를 설계하였으며, 이는 학습된 다중모드 분포에 조건을 부여한다.
• 완전한 형상을 저차원 잠재 공간으로 매핑하기 위해 모드 인코더를 훈련시켜 가능한 완성형의 분포를 명시적으로 모델링한다.
• 생성자가 실제 완전한 형상과 구분이 가지 않도록 하는 적대적 손실을 통해 생성 결과를 훈련한다.
• 재구성 손실은 입력 부분형에 대한 충실도를 보장하고, 잠재 재구성 손실은 완성 모드 간의 분리성과 다양성을 촉진한다.
• 잠재 공간과 출력 모드 사이에 이중사상(bijective) 매핑을 구현하며, 생성된 출력에서 잠재 벡터를 복원함으로써 이를 강제로 구현한다.
• 쌍화되지 않은 실제 스캔 데이터를 사용하여 엔드 투 엔드로 프레임워크를 훈련시켜 실제 세계 데이터에 직접 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 쌍화된 훈련 데이터 없이도 불완전한 3D 형상에 대해 다양한 고품질의 완성형을 생성할 수 있는가?
• RQ2 저차원 잠재 공간에서 형상 완성의 다중모드를 효과적으로 모델링하고 분리할 수 있는가?
• RQ3 명시적 모드 인코더를 갖춘 조건부 GAN이 충실도를 유지하면서도 잠재 공간 내의 모드 붕괴를 어느 정도 방지할 수 있는가?
• RQ4 입력의 불완전성 수준이 생성된 완성형의 다양성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 다양한 불완전성 수준을 가진 실제 스캔 데이터에 일반화 가능한가?

주요 결과

• 실제 스캔 데이터에서 프리셰트 포인트 클라우드 거리(FID)가 2.42×10⁻³을 기록하여 고품질의 완성형 결과를 나타낸다.
• 실제 스캔에서 총 모드 거리(TMD)는 3.17×10⁻², 유니크니스-하우스도르프 거리(UHD)는 8.60×10⁻²를 기록하여 높은 다양성과 충실도를 입증한다.
• 입력의 불완전성이 증가할수록 완성형의 다양성(TMD)이 증가함을 확인하여, 더 높은 모호성 하에서도 더 다양한 출력을 생성할 수 있음을 입증한다.
• t-SNE 시각화 결과, 잠재 손실 항목의 가중치를 높일수록 더 분명한 모드가 형성되어 모드 붕괴가 감소함을 확인하였다.
• 정성적 및 정량적 평가에서 기준 모델들을 능가하며, 일관되게 다양한 고충실도의 완성형을 생성한다.
• 제거 실험 결과, 재구성 손실과 잠재 손실 간의 균형 조절이 다양성과 충실도를 유지하는 데 핵심적임을 확인하였다.