[논문 리뷰] MRGAN: Multi-Rooted 3D Shape Generation with Unsupervised Part Disentanglement

Rinon Gal, Amit H. Bermano외 2명|arXiv (Cornell University)|2020. 07. 25.

3D Shape Modeling and Analysis참고 문헌 3인용 수 5

한 줄 요약

MRGAN은 비지도 학습을 통해 3D 모양을 다수의 루트가 있는 부분으로 분리하는 새로운 3D 모양 생성 프레임워크를 제안한다. 이는 일관되고 局소적인 모양 편집을 가능하게 한다. 루트 제거 및 볼록성 정규화를 적용한 다중루트 그래프 컨볼루션 네트워크를 활용하여, 국소적 수정이 가능하고 의미 있는 부분으로 분리된 모양 생성을 달성하였으며, 정성적 및 정량적 분석을 통해 검증되었다.

ABSTRACT

We present MRGAN, a multi-rooted adversarial network which generates part-disentangled 3D point-cloud shapes without part-based shape supervision. The network fuses multiple branches of tree-structured graph convolution layers which produce point clouds, with learnable constant inputs at the tree roots. Each branch learns to grow a different shape part, offering control over the shape generation at the part level. Our network encourages disentangled generation of semantic parts via two key ingredients: a root-mixing training strategy which helps decorrelate the different branches to facilitate disentanglement, and a set of loss terms designed with part disentanglement and shape semantics in mind. Of these, a novel convexity loss incentivizes the generation of parts that are more convex, as semantic parts tend to be. In addition, a root-dropping loss further ensures that each root seeds a single part, preventing the degeneration or over-growth of the point-producing branches. We evaluate the performance of our network on a number of 3D shape classes, and offer qualitative and quantitative comparisons to previous works and baseline approaches. We demonstrate the controllability offered by our part-disentangled generation through two applications for shape modeling: part mixing and individual part variation, without receiving segmented shapes as input.

연구 동기 및 목표

• 부분 레이블이 없는 상태에서 3D 모양을 의미 있는 부분으로 비지도 분리하는 것.
• 다양한 루트를 모델링하여 각각이 형태의 별개의 부분을 나타내도록 하여 일관된 3D 모양을 생성하는 것.
• 한 루트를 수정할 경우 오직 해당 부분에만 영향을 주고 전체 형태의 일관성을 유지하는 국소적 수정을 보장하는 것.
• 루트 제거 및 볼록성 정규화라는 새로운 손실 함수를 통해 부분 분리도를 향상시키는 것.
• ShapeNet 기준으로 정성적 및 정량적 평가를 통해 제안 방법의 효과성을 입증하는 것.

제안 방법

• 생성자는 각 루트가 형태의 부분을 나타내며, 학습된 루트 상수와 공유된 특징 처리를 수행하는 다중루트 트리GCN 아키텍처를 사용한다.
• 특징 공유 레이어는 최대 풀링, 밀도 있는 투영 및 1D 컨볼루션을 통해 글로벌 특징을 집계하여, 국소적 구조를 유지하면서도 부분 간 통신을 가능하게 한다.
• 각 루트가 고유한 역할을 하도록 유도하기 위해 루트 제거 손실을 적용한다. 이는 중복된 부분을 줄이는 데 기여한다.
• 각 루트가 형태의 볼록하고 의미 있는 부분에 대응하도록 하기 위해 볼록성 손실을 적용한다.
• 보조 헐-거리 네트워크는 각 점에 대한 볼록 Hull까지의 거리를 예측하며, 생성자 정규화 및 부분 분리 향상에 활용된다.
• 판별자는 1D CNN 기반 아키텍처로 구성되며, 잠재 코드에 대한 신뢰성 유지 정규화를 위해 재구성 헤드를 포함한다.

실험 결과

연구 질문

• RQ1 비지도 3D 모양 생성이 부분 수준의 레이블 없이 의미 있는 부분 분리도를 달성할 수 있는가?
• RQ2 다중루트 GAN은 부분 혼합 및 국소적 수정 시 형태의 일관성을 얼마나 잘 유지하는가?
• RQ3 루트 제거 및 볼록성 손실이 부분 분리도 향상과 중복 감소에 얼마나 기여하는가?
• RQ4 헐-거리 예측 네트워크는 생성된 부분의 품질과 분리도에 어떤 기여를 하는가?
• RQ5 모델은 다양한 일관된 형태를 생성하면서도 각 부분의 국소적 편집 가능성을 유지할 수 있는가?

주요 결과

• 단일 루트를 수정할 경우 오직 해당 부분에만 영향을 주며 전반적인 형태의 이동이 최소화되는 것으로 보여, 강력한 부분 분리도를 달성하였다.
• 부분 혼합 결과는 일관된 보간을 보였으며, 예를 들어 원형 의자 뒷받통이 정체성은 유지되면서 크기 및 기울기가 새로운 형태에 맞게 조정되었다.
• 루트 제거 손실은 중복된 부분을 효과적으로 줄였으며, 이 손실을 제거한 경우에 비해 겹치거나 중복된 루트가 나타나는 것으로 확인되었다.
• 볼록성 손실은 부분 분리도를 크게 향상시켰으며, 이 손실을 제거한 경우 부분이 잘 정의되지 않고 겹치는 형태로 나타났다.
• ShapeNet 벤치마크에서 MRGAN는 최상위 성능 수준의 품질 지표를 달성하지 못했지만, 커버리지(COV-CD: 의자 67, 항공기 75, 테이블 78)에서는 경쟁력 있거나 슈퍼리어한 성능을 보였다.
• 헐-거리 네트워크는 합성 및 실제 점군에서 성공적으로 학습되었으며, L2 손실을 사용해 헐까지의 거리를 예측하여 부분 정규화에 기여하였다.