[논문 리뷰] Improved Adversarial Systems for 3D Object Generation and Reconstruction

Edward Smith, David Meger|arXiv (Cornell University)|2017. 07. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 63

한 줄 요약

3D-IWGAN 및 3D-VAE-IWGAN을 도입하여 다중 카테고리에 걸친 3D 물체 형태를 Wasserstein 거리와 gradient penalty를 사용해 생성하고 재구성하며, IKEA 데이터셋 재구성 결과에서 최첨단 성능을 달성한다.

ABSTRACT

This paper describes a new approach for training generative adversarial networks (GAN) to understand the detailed 3D shape of objects. While GANs have been used in this domain previously, they are notoriously hard to train, especially for the complex joint data distribution over 3D objects of many categories and orientations. Our method extends previous work by employing the Wasserstein distance normalized with gradient penalization as a training objective. This enables improved generation from the joint object shape distribution. Our system can also reconstruct 3D shape from 2D images and perform shape completion from occluded 2.5D range scans. We achieve notable quantitative improvements in comparison to existing baselines

연구 동기 및 목표

• 카테고리 레이블 없이도 복잡하고 다중 카테고리 3D 형태 분포를 견고하게 학습하도록 동기를 부여한다.
• 다양한 시점에서의 3D 물체 분포에 대해 GAN 학습 안정성을 향상시킨다.
• 단일 2D 이미지 및 가려진 2.5D 깊이 스캔으로부터의 3D 재구성을 가능하게 한다.
• 3D 생성 및 VAE-GAN 하이브리드에서 gradient penalty가 적용된 Wasserstein GAN을 통합한다.

제안 방법

• 다중 객체 클래스 및 방향에 걸친 공동 3D 형상 분포를 학습하기 위해 3D-IWGAN을 사용한다.
• 가중치 클리핑 없이 (λ=10) 그래디언트 페널티가 있는 Wasserstein 거리(IWGAN)를 적용하여 GAN 학습을 안정화한다.
• 학습 스케줄을 수정: 판별자는 매 배치마다 업데이트; 생성자는 매 5배치마다 업데이트한다.
• 이미지 조건부 3D 재구성을 가능하게 하기 위해 3D-IWGAN과 VAE를 결합한 3D-VAE-IWGAN을 도입하고, 인코더/생성기/판별기의 업데이트를 동기화한다.
• 인코더/디코더 아키텍처: 5층 CNN 인코더; VAE 쪽의 400차원 잠재 표현; 32^3 출력 보셀(voxel)을 갖는 생성기/판별기.
• 동일한 3D-VAE-IWGAN 프레임워크를 사용하여 단일 시점(depth) 스캔으로부터의 3D 물체 재구성으로 확장한다.

실험 결과

연구 질문

• RQ1 하나의 결합된 3D 형상 네트워크가 카테고리 레이블 감독 없이도 여러 객체 카테고리와 방향을 학습할 수 있는가?
• RQ2 그래디언트 페널티가 적용된 Wasserstein 거리가 복잡한 3D 형태 분포의 안정성 및 수렴에 도움이 되는가?
• RQ3 2D 입력으로 조건화될 때 VAE-GAN 하이브드(3D-VAE-IWGAN)가 이미지에서의 최첨단 3D 재구성을 달성할 수 있는가?
• RQ4 부분적으로 가려지거나 깊이 정보만 있는 관찰로부터 3D 형상을 완성할 수 있는가?

주요 결과

• 3D-IWGAN은 ModelNet10에서 10개 클래스와 12개 방향에 걸쳐 안정적으로 학습되며, 매끄러운 잠재 공간 보간을 가능하게 한다.
• 3D-VAE-IWGAN은 IKEA 데이터셋에서 최첨단 재구성을 달성했으며, 평균 정밀도 61.7%(개별 학습) 및 55.0%(공동 학습)이다.
• 통합 모델은 감독 없는 설정에서 경쟁력을 가지며, 공유 표현 학습의 이점을 보여준다.
• 이 시스템은 단일 RGB 이미지 및 깊이 맵(Kinect 유래 데이터 포함)에서 3D 형상을 재구성할 수 있어 현실적인 감지 시나리오에 적용 가능성을 보여준다.
• 판별자 손실이 수렴을 추적하여 IWGAN 목적 함수와 제안된 아키텍처 변경 하에서 안정적인 학습을 나타낸다.