Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Unsupervised 3D Shape Completion through GAN Inversion

Junzhe Zhang, Xinyi Chen|arXiv (Cornell University)|2021. 04. 27.
3D Shape Modeling and Analysis참고 문헌 38인용 수 9
한 줄 요약

이 논문은 쌍체의 훈련 데이터가 필요 없이 부분 입력에서 완전한 형태를 복원하기 위해 GAN 역전환을 활용하는 비지도 3D 형태 완성 방법인 ShapeInversion을 제안한다. 사전에 훈련된 GAN의 공간에서 부분 입력을 가장 잘 재구성하도록 잠재 코드를 최적화함으로써, ShapeInversion은 비지도 방법 중 최고 성능을 달성하며 다양한 부분 형태와 실제 스캔 데이터에 대해 강건하게 일반화된다. 또한 다중 출력 생성, 형태 왜곡, 보간과 같은 추가 기능을 제공한다.

ABSTRACT

Most 3D shape completion approaches rely heavily on partial-complete shape pairs and learn in a fully supervised manner. Despite their impressive performances on in-domain data, when generalizing to partial shapes in other forms or real-world partial scans, they often obtain unsatisfactory results due to domain gaps. In contrast to previous fully supervised approaches, in this paper we present ShapeInversion, which introduces Generative Adversarial Network (GAN) inversion to shape completion for the first time. ShapeInversion uses a GAN pre-trained on complete shapes by searching for a latent code that gives a complete shape that best reconstructs the given partial input. In this way, ShapeInversion no longer needs paired training data, and is capable of incorporating the rich prior captured in a well-trained generative model. On the ShapeNet benchmark, the proposed ShapeInversion outperforms the SOTA unsupervised method, and is comparable with supervised methods that are learned using paired data. It also demonstrates remarkable generalization ability, giving robust results for real-world scans and partial inputs of various forms and incompleteness levels. Importantly, ShapeInversion naturally enables a series of additional abilities thanks to the involvement of a pre-trained GAN, such as producing multiple valid complete shapes for an ambiguous partial input, as well as shape manipulation and interpolation.

연구 동기 및 목표

  • 지도 학습 방법이 도메인 외부의 부분 스캔 또는 비표준 부분 형태에서 실패하는 3D 형태 완성의 도메인 일반화 갭을 해결하기 위해.
  • 사전에 훈련된 생성 모델을 인덕티브 바이어스로 활용하여 쌍체의 부분-완전 형태 데이터셋이 필요 없도록 하기 위해.
  • GAN 기반 프레임워크에서 잠재 공간 연산을 통해 다수의 가능성이 있는 완성, 형태 조작, 보간을 가능하게 하기 위해.
  • 비균일한 포인트 클라우드 분포와 순서가 없는 포인트 클라우드에서의 모호한 포인트 대응 관계로 인한 3D GAN 역전환 과제를 극복하기 위해.

제안 방법

  • 패치 중심점과 그 가장 가까운 이웃들 간 평균 거리의 분산을 최소화함으로써 GAN 훈련 중 포인트 클라우드의 균일성을 향상시키기 위해 새로운 PatchVariance 손실을 도입한다.
  • 각 부분 포인트를 예측 결과에서 k개의 가장 가까운 이웃들 중 하나로 할당하여 부분 입력과 생성된 형태 사이의 포인트 대응 관계를 추정하는 동적 k-Mask 메커니즘을 제안한다.
  • GAN의 잠재 코드 z를 최적화하여 생성된 형태가 주어진 부분 입력을 가장 잘 재구성하도록 함으로써 GAN 역전환을 수행하며, 재구성 손실 계산에 k-Mask를 활용한다.
  • 잠재 코드 z와 생성자 파라미터 θ에 대해 학습률을 점진적으로 감소시키는 방식으로 역전환 과정을 여러 하위 단계로 나누어 수렴성과 안정성을 향상시킨다.
  • 완전한 형태에 대해 사전에 훈련된 GAN(r-GAN 또는 tree-GAN 등)을 활용하여, 실제 스캔 데이터에 대한 미세조정 없이도 제로샷 완성 기능을 제공한다.
  • GAN의 분리되고 연속적인 잠재 공간을 활용하여 잠재 코드 z를 변형하거나 보간함으로써 형태 왜곡과 보간을 가능하게 한다.
Figure 1: ShapeInversion incorporates the prior captured by a well-trained GAN. It shows exceptional generalization ability for shape completion: is invariant to partial form changes, i.e. , (a) virtual scans, generated by back-projecting 2.5D depth images into 3D, (b) ball-holed partial shapes, gen
Figure 1: ShapeInversion incorporates the prior captured by a well-trained GAN. It shows exceptional generalization ability for shape completion: is invariant to partial form changes, i.e. , (a) virtual scans, generated by back-projecting 2.5D depth images into 3D, (b) ball-holed partial shapes, gen

실험 결과

연구 질문

  • RQ1쌍체의 훈련 데이터가 없이도 GAN 역전환이 3D 형태 완성에 효과적으로 적용될 수 있는가?
  • RQ2GAN 기반 방법이 가상 스캔, 볼홀 형태, 실제 스캔 등 다양한 부분 형태에 대해 얼마나 잘 일반화되는가?
  • RQ3사전에 훈련된 GAN의 잠재 공간이 자연스럽게 다중 모달 완성, 형태 조작, 보간을 지원할 수 있는가?
  • RQ4비균일한 포인트 분포와 순서가 없는 포인트 클라우드 구조는 3D GAN 역전환에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

  • ShapeInversion은 쌍체 데이터 없이도 ShapeNet 벤치마크에서 SOTA 비지도 방법인 pcl2pcl를 초월하며, 비지도 방법임에도 불구하고 지도 학습 방법과 유사한 성능을 달성한다.
  • 모든 테스트된 부분 형태, 즉 가상 스캔, 볼홀 형태, 의미적 부분 제거, ScanNet 및 KITTI의 실제 스캔 데이터에 대해 강건하게 일반화된다.
  • 실제 스캔 데이터에서 ShapeInversion는 재학습이 필요한 pcl2pcl보다 더 높은 정밀도와 더 나은 입력 정렬 성능을 보였다.
  • PatchVariance 손실은 아키텍처 변경 없이도 모든 형태 카테고리에서 생성된 포인트 클라우드의 균일성을 효과적으로 향상시켰다. 이는 미세 구조와 대규모 구조 모두에 해당한다.
  • k-Mask 메커니즘은 의미적 부분이 공간적으로 비일치하는 경우에도 동적이고 강건한 대응 관계 추정이 가능하여 고정 임계값 또는 바vox 기반 기준보다 뛰어난 성능을 보였다.
  • ShapeInversion는 사전에 훈련된 GAN의 분리된 잠재 공간 덕분에 자연스럽게 다중 모달 완성, 형태 왜곡, 보간을 지원한다.
Figure 2: GAN inversion for shape completion. A latent vector $\mathbf{z}$ is used by the pre-trained generator $G$ to reconstruct a complete shape $\mathbf{x}_{c}$ . The degradation function $M$ (Sec. 3.2 ) then transforms $\mathbf{x}_{c}$ into a partial shape $\mathbf{x}_{p}$ . The supervision sig
Figure 2: GAN inversion for shape completion. A latent vector $\mathbf{z}$ is used by the pre-trained generator $G$ to reconstruct a complete shape $\mathbf{x}_{c}$ . The degradation function $M$ (Sec. 3.2 ) then transforms $\mathbf{x}_{c}$ into a partial shape $\mathbf{x}_{p}$ . The supervision sig

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.