[논문 리뷰] MaterialGAN: Reflectance Capture using a Generative SVBRDF Model

Yu Guo, Cameron Smith외 3명|arXiv (Cornell University)|2020. 09. 30.

Computer Graphics and Visualization Techniques참고 문헌 18인용 수 24

한 줄 요약

이 논문은 스마트폰으로 촬영한 3~7장의 플래시 사진만으로 고해상도의 공간적으로 변화하는 BRDF(SVBRDF)를 캡처하는 GAN 기반의 역방사광 렌더링 프레임워크인 MaterialGAN을 제안한다. StyleGAN2로 생성된 물질 사전의 잠재 공간에서 최적화함으로써, 실제적인, 일반화 가능한 물질 매핑을 생성하며, 이는 입력 이미지를 정확히 재현하고 형태학적 편집(예: 모핑)과 같은 작업을 가능하게 한다.

ABSTRACT

We address the problem of reconstructing spatially-varying BRDFs from a small set of image measurements. This is a fundamentally under-constrained problem, and previous work has relied on using various regularization priors or on capturing many images to produce plausible results. In this work, we present MaterialGAN, a deep generative convolutional network based on StyleGAN2, trained to synthesize realistic SVBRDF parameter maps. We show that MaterialGAN can be used as a powerful material prior in an inverse rendering framework: we optimize in its latent representation to generate material maps that match the appearance of the captured images when rendered. We demonstrate this framework on the task of reconstructing SVBRDFs from images captured under flash illumination using a hand-held mobile phone. Our method succeeds in producing plausible material maps that accurately reproduce the target images, and outperforms previous state-of-the-art material capture methods in evaluations on both synthetic and real data. Furthermore, our GAN-based latent space allows for high-level semantic material editing operations such as generating material variations and material morphing.

연구 동기 및 목표

• 소수의 이미지로부터 현실적인 SVBRDF를 재구성하는 데 도전하는 문제를 해결하기 위해, 기본적으로 과소결정되어 있으며 부자연스러운 결과를 낳기 쉬운 문제를 다룬다.
• 수작업으로 만든 사전과 단일 피드포워드 딥 네트워크의 한계를 극복하기 위해, 복잡한 물질 상관관계를 포괄하는 학습된 생성 사전을 도입한다.
• 새로운 조명 조건과 시점에서 잘 작동하는 고품질의 일반화 가능한 SVBRDF 재구성을 달성한다.
• 잠재 공간의 분리된 특성 덕분에 물질 모핑 및 변형 생성과 같은 고수준 의미적 편집 작업을 가능하게 한다.
• GAN 기반의 잠재 공간을 역방사광 렌더링에서 강력한 암묵적 사전으로 사용할 수 있음을 입증한다.

제안 방법

• 실제 공간적으로 변화하는 물질 매핑의 대규모 데이터셋을 기반으로, 현실적이고 다양한 SVBRDF 파라미터 분포를 학습하기 위해 StyleGAN2 기반의 생성 모델인 MaterialGAN을 훈련한다.
• MaterialGAN에 미분 가능한 렌더링 레이어를 적용하여, 잠재 코드에서 렌더링된 이미지에 이르는 엔드 투 엔드로 미분 가능한 파이프라인을 구축한다.
• 플래시 조명 조건 하에서 렌더링된 이미지와 캡처된 이미지 간의 인지적 오차와 픽셀 수준 오차를 최소화하기 위해 MaterialGAN의 잠재 벡터를 최적화한다.
• MaterialGAN이 학습한 국소적 및 국지적 상관관계를 활용하여 역방사광 렌더링 과정을 정규화하고 현실성을 확보한다.
• StyleGAN2의 분리된 잠재 공간을 활용하여, 물질 모핑을 위한 잠재 코드 간 선형 보간과 같은 의미적 편집을 가능하게 한다.
• 합성 데이터와 실제 세계 데이터를 모두 활용하여 방법을 검증하며, 다양한 입력 이미지 수(1~7장)에 대한 최신 기술과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 실제 세계의 SVBRDF로 훈련된 딥 생성 모델이 물질 캡처의 역방사광 렌더링에서 강력한 암묵적 사전으로 기능할 수 있는가?
• RQ2 GAN 기반의 물질 사전의 잠재 공간에서 최적화하는 것이 기존 방법에 비해 재구성 품질과 일반화 능력을 향상시키는가?
• RQ3 GAN 기반의 잠재 공간이 물질 모핑 및 변형 생성과 같은 의미 있는 의미적 편집 작업을 가능하게 하는가?
• RQ4 실제 캡처 조건 하에서, 제안된 방법의 성능이 입력 이미지 수에 따라 어떻게 변화하는가?
• RQ5 기존 접근 방식에 비해, 이 방법이 새로운 조명 조건과 시점 조건에서 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 합성 데이터 및 실제 데이터 평가에서 최신 기술을 모두 능가하며, 더 현실적이고 정확한 SVBRDF 재구성을 제공한다.
• 7장의 입력 이미지로도 고해상도 재구성이 가능하며, 새로운 조명 조건과 시점 조건에서도 잘 일반화됨을 애니메이션 렌더링을 통해 입증된다.
• 3장의 입력 이미지조차도 타당한 결과를 생성하며, 입력 수가 증가할수록 잡음이 감소한다.
• GAN 기반의 잠재 공간을 활용함으로써 고품질의 물질 모핑과 변형 생성이 가능하며, 픽셀 공간에서의 단순 선형 보간에 비해 우수한 성능을 보인다.
• 초기화에 민감하지 않으며, Gao 등(2019)의 최적화 기반 접근 방식보다 항상 더 깔끔한 결과를 생성한다.
• MaterialGAN이 학습한 전역 상관관계 덕분에, 복잡한 공간적 변형을 가진 다양한 물질에 대해서도 잘 일반화된다.