[논문 리뷰] Convolutional Generation of Textured 3D Meshes

Dario Pavllo, Graham Spinks외 3명|arXiv (Cornell University)|2020. 06. 13.

3D Shape Modeling and Analysis참고 문헌 71인용 수 26

한 줄 요약

이 논문은 자연 이미지의 단일 뷰 2D 감독만을 사용하여 고해상도 질감이 있는 3D 삼각형 메시를 생성하는 2D 컨volution 신경망 GAN 프레임워크를 제안한다. 메시와 질감을 자세에 영향을 받지 않는 UV 공간에 의미론적으로 정렬하여 인코딩함으로써, 형태와 외관을 제어 가능하고 분리된 방식으로 생성할 수 있게 되었으며, Pascal3D+ Cars 및 CUB 데이터셋에서 메시와 질감 품질 측면에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

While recent generative models for 2D images achieve impressive visual results, they clearly lack the ability to perform 3D reasoning. This heavily restricts the degree of control over generated objects as well as the possible applications of such models. In this work, we bridge this gap by leveraging recent advances in differentiable rendering. We design a framework that can generate triangle meshes and associated high-resolution texture maps, using only 2D supervision from single-view natural images. A key contribution of our work is the encoding of the mesh and texture as 2D representations, which are semantically aligned and can be easily modeled by a 2D convolutional GAN. We demonstrate the efficacy of our method on Pascal3D+ Cars and CUB, both in an unconditional setting and in settings where the model is conditioned on class labels, attributes, and text. Finally, we propose an evaluation methodology that assesses the mesh and texture quality separately.

연구 동기 및 목표

• 2D 이미지 생성과 3D 추론 사이의 격차를 메우기 위해 단일 2D 감독으로부터 제어 가능하고 사실적인 3D 메시 생성을 가능하게 하기 위해.
• 2D GAN이 3D 공간적 추론, 음영, 형태와 외관에 대한 분리된 제어를 다루는 데 한계를 가지는 문제를 해결하기 위해.
• 메시 기하학과 질감을 동시에 모델링할 수 있는 의미론적으로 정렬된 UV 표현 방식을 사용하는 확장 가능한 2D 컨volution 프레임워크를 개발하기 위해.
• 클래스 레이블, 속성, 텍스트를 기반으로 조건부 생성을 가능하게 하고, 해석 가능한 주의 메커니즘을 제공하기 위해.
• 메시와 질감 품질을 별도로 평가하는 새로운 평가 프로토콜을 제안하기 위해.

제안 방법

• 메시 템플릿을 탄젠트 공간에서 변형하는 데에 이격도 맵을 사용하는 '컨볼루션 메시' 표현 방식을 도입하여 부드러움과 2D 컨볼루션과의 호환성을 확보한다.
• 메시와 질감을 공유하는 UV 맵에 인코딩하여 의미론적 정렬과 2D 컨볼루션 GAN을 통한 공동 모델링를 가능하게 한다.
• 실제 이미지를 UV 맵에 투영하기 위한 미분 가능한 렌더링 파이프라인을 도입하여 2D 감독 하에 엔드 투 엔드 학습을 가능하게 한다.
• 손실 함수에 마스크된 입력을 사용하여 음영을 처리함으로써, 훈련 이미지에서 부분적으로 가려진 경우에도 강건성을 향상시킨다.
• 클래스 레이블, 속성 또는 텍스트 임베딩에 따라 생성기와 판별기를 조건화함으로써 조건부 생성을 달성하며, 텍스트와 부분 간의 정렬을 위해 선택적 주의 메커니즘을 통합한다.
• UV 공간에 적응된 표준 2D GAN 아키텍처(예: StyleGAN)를 활용하여 渐진적 성장 없이도 고해상도 출력(최대 512×512)을 가능하게 한다.

실험 결과

연구 질문

• RQ1 2D 컨볼루션 GAN은 단일 뷰 2D 감독만을 사용하여 고해상도이고 사실적인 3D 질감 메시를 생성할 수 있는가?
• RQ2 자세에 영향을 받지 않는 UV 공간 표현 방식은 3D나 2D 이미지 기반 접근 방식에 비해 형태와 외관의 분리도를 더 잘 향상시키는가?
• RQ3 모델은 의미 있는 주의 지역화를 통해 텍스트, 속성 또는 클래스 레이블에 조건부로 3D 메시를 제어적으로 생성할 수 있는가?
• RQ4 조건부 설정에서 기존의 2D 및 3D GAN들과 비교해 메시와 질감 품질 측면에서 성능이 어떻게 뛰어나게 되는가?
• RQ5 통합 평가 프레임워크는 메시와 질감의 정밀도를 별도로 측정하여 3D 생성 품질에 대해 더 정확한 평가를 가능하게 하는가?

주요 결과

• 3D 복원 기반 기준선을 사용할 때 CUB 새의 복원에 대해 FID 점수 85.8을 달성하였으며, 이는 제안된 방법이 더 뛰어난 성능을 보임을 입증하여 강력한 하한선을 확립하였다.
• CUB 데이터셋에서 조건부 텍스트-메시 생성 시 질감 FID는 12.4, 메시 FID는 15.6을 기록하여 고품질의 합성 성능을 입증하였다.
• UV 공간 내 주의 메커니즘이 특정 객체 부분(예: '노란 머리카락', '빨간 뺨')에 성공적으로 집중되었으며, 시각화 결과는 이미지 간 의미론적 일致성을 확인하였다.
• UV 공간 내 정밀한 의미론적 정렬 덕분에 渐진적 성장 없이도 고해상도 질감(512×512)을 생성할 수 있었다.
• 메시와 외관에 대한 분리된 제어가 가능함을 보여주기 위해, 색상이나 부분 식별자와 같은 속성을 독립적으로 조작한 조건부 생성 결과를 제시하였다.
• 절단 실험 결과, UV 공간 표현 방식과 마스크된 판별기 구성이 기존 베이스라인 대비 성능 향상에 크게 기여함을 확인하였다.