[논문 리뷰] Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data

Sebastian Lunz, Yingzhen Li외 2명|arXiv (Cornell University)|2020. 02. 28.

3D Shape Modeling and Analysis참고 문헌 60인용 수 37

한 줄 요약

IG-GAN은 오프더셸프 비미분가능 렌더러와 프록시 신경 렌더러, 그리고 판별자 출력 매칭 손실을 결합하여 렌더링 과정을 통해 그래디언트를 전달함으로써 비정렬된 2D 이미지로부터 3D 모양을 생성하는 방법을 학습합니다.

ABSTRACT

Recent work has shown the ability to learn generative models for 3D shapes from only unstructured 2D images. However, training such models requires differentiating through the rasterization step of the rendering process, therefore past work has focused on developing bespoke rendering models which smooth over this non-differentiable process in various ways. Such models are thus unable to take advantage of the photo-realistic, fully featured, industrial renderers built by the gaming and graphics industry. In this paper we introduce the first scalable training technique for 3D generative models from 2D data which utilizes an off-the-shelf non-differentiable renderer. To account for the non-differentiability, we introduce a proxy neural renderer to match the output of the non-differentiable renderer. We further propose discriminator output matching to ensure that the neural renderer learns to smooth over the rasterization appropriately. We evaluate our model on images rendered from our generated 3D shapes, and show that our model can consistently learn to generate better shapes than existing models when trained with exclusively unstructured 2D images.

연구 동기 및 목표

• 다 differentiable 렌더링 제약 없이 비정렬된 2D 이미지만으로 학습된 3D 모양 생성 enable.
• 오프더셸프 산업 렌더러를 도입하여 학습 가능한 신경 프록시 렌더러를 도입합니다.
• 연속 보셀 표현과 이산 렌더링 간의 정렬을 위해 판별자 출력 매칭을 통해 비미분 가능성을 패치합니다.
• 합성 데이터와 자연 데이터 모두에서 2D-감독 방법보다 향상된 3D 모양 생성 품질을 입증합니다.]
• method':['연속 점유 값을 갖는 보셀로 3D 모양을 표현합니다.','이산 보셀 임계값을 렌더링하는 오프더쉘프 비미분가능 렌더러를 사용합니다.','연속 보셀을 2D 이미지로 매핑하고 이를 이산 입력에 대해 오프더셸프 렌더러와 매칭하도록 프록시 신경 렌더러를 학습시킵니다(L2 손실).','이산 렌더링이 임계값으로 처리될 때 신경 렌더러의 출력을 판별자의 기대치와 일치시키기 위한 DOM(Discriminator Output Matching) 손실을 정의합니다.','GAN 목적에 따라 학습하여 판별자로부터의 그래디언트가 프록시 렌더러를 통해 3D 생성기로 역전파되도록 합니다.','연속 보셀 생성기에 대해 차별화 가능한 피드백을 neural 렌더러가 제공하도록 보상 근사화 단계를 사용합니다(난해한 점수 함수 우회).']
• research_questions':['비분화 렌더링 제약 없이 비정렬된 2D 이미지로 확장 가능한 3D 모양 생성기를 학습할 수 있는가?','프록시 신경 렌더러와 DOM 손실이 비미분 가능 렌더링 단계에서 효과적인 그래디언트 흐름을 가능하게 하는가?','IG-GAN은 합성 데이터 및 자연 데이터에서 기존의 2D-감독 3D 생성 방법과 어떻게 비교되는가?','2D 이미지의 조명, 음영, 오목함이 생성된 3D 모양의 품질을 어느 정도까지 향상시키는가?]
• key_findings':['IG-GAN은 ShapeNet에서 derivados 데이터셋(욕조, 소파, 의자)에서 2D FID 점수를 일관되게 개선합니다.','이 방법은 특히 조명과 음영 신호를 더 잘 활용하는 덕분에 오목한 물체(예: 욕조와 소파)에서 두각을 나타냅니다.','판별자 출력 매칭(DOM)은 학습 안정성과 품질에 중요한데, DOM을 제거하거나 약화시키면 결과가 저하됩니다.','이 접근법은 자연 이미지(버섯 균류)과 합성 데이터 모두에 대해 현실적인 3D 모양을 산출합니다.','신경 렌더러를 사전 학습하는 것이 유익하나, 도메인 관련 데이터가 사전 학습에 사용되면 다양한 사전 학습에 대한 강건성이 관찰됩니다.']
• table_headers: []
• table_rows: []} )?

제안 방법

• Represent 3D shapes as voxels with continuous occupancy values.
• Use an off-the-shelf non-differentiable renderer to render discrete voxel thresholds.
• Introduce a proxy neural renderer that maps continuous voxels to 2D images and train it to match the off-the-shelf renderer on discrete inputs (L2 loss).
• Define a discriminator output matching (DOM) loss to align the neural renderer’s outputs with the discriminator’s expectations when discrete renders are thresholded.
• Train with a GAN objective where gradients flow from the discriminator through the neural renderer back to the 3D generator via the proxy renderer.
• Employ a reward-approximation step that uses the neural renderer to provide differentiable feedback for the continuous voxel generator (bypassing intractable score functions).

실험 결과

연구 질문

• RQ1 Can unstructured 2D images be used to learn a scalable 3D shape generator without differentiable rendering?
• RQ2 Does a proxy neural renderer paired with DOM loss enable effective gradient flow through non-differentiable rendering steps?
• RQ3 How does IG-GAN compare to existing 2D-supervised 3D generation methods on synthetic and natural datasets?
• RQ4 To what extent do lighting, shading, and concavities in 2D images improve the quality of generated 3D shapes?

주요 결과

• IG-GAN consistently improves 2D FID scores over baselines on ShapeNet-derived datasets (bathtubs, couches, chairs).
• The method especially excels on concave objects (e.g., bathtubs and couches) due to better use of lighting and shading cues.
• Discriminator Output Matching (DOM) is crucial for training stability and quality; removing or weakening DOM degrades results.
• The approach yields realistic 3D shapes when trained on natural images (chanterelle mushrooms) as well as synthetic data.
• Pre-training the neural renderer is beneficial, but robustness to different pre-trainings is observed, provided domain-relevant data is used for pre-training.