[논문 리뷰] Single Image BRDF Parameter Estimation with a Conditional Adversarial Network

Mark Boss, Hendrik P. A. Lensch|arXiv (Cornell University)|2019. 10. 11.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

이 논문은 단일 모바일 폰 플래시 사진에서 공간적으로 변화하는 BRDF 매개변수—반사율 색상, 법선, 거칠기, 금속성—을 추정하는 조건부 생성 적대 신경망(cGAN)을 제안한다. 다중 척도 판별기, 인지적 손실, 미분 가능 렌더링, 매개변수 정규화를 활용하여, 수작업으로 작성된 스타일을 유사하게 구현하면서도 플래시 반사 및 부가 조명으로 인한 잡음 요소를 줄이는 고해상도이자 전역적으로 일관된 재질 맵을 생성한다.

ABSTRACT

Creating plausible surfaces is an essential component in achieving a high degree of realism in rendering. To relieve artists, who create these surfaces in a time-consuming, manual process, automated retrieval of the spatially-varying Bidirectional Reflectance Distribution Function (SVBRDF) from a single mobile phone image is desirable. By leveraging a deep neural network, this casual capturing method can be achieved. The trained network can estimate per pixel normal, base color, metallic and roughness parameters from the Disney BRDF. The input image is taken with a mobile phone lit by the camera flash. The network is trained to compensate for environment lighting and thus learned to reduce artifacts introduced by other light sources. These losses contain a multi-scale discriminator with an additional perceptual loss, a rendering loss using a differentiable renderer, and a parameter loss. Besides the local precision, this loss formulation generates material texture maps which are globally more consistent. The network is set up as a generator network trained in an adversarial fashion to ensure that only plausible maps are produced. The estimated parameters not only reproduce the material faithfully in rendering but capture the style of hand-authored materials due to the more global loss terms compared to previous works without requiring additional post-processing. Both the resolution and the quality is improved.

연구 동기 및 목표

• 단일 모바일 폰 이미지로 저비용·일상적인 촬영에서 고품질의 공간적으로 변화하는 BRDF를 확보하는 데 도전한다.
• 플래시 및 환경 조명으로 인한 잡음 요소를 줄이고 현실적인 재질 외관을 강제하여 단일 이미지 BRDF 추정의 불안정한 성격을 극복한다.
• 기존 방법이 후처리나 사전 지식이 필요로 하는 점을 개선하기 위해, 새로운 손실 설계를 통해 반사 잡음과 부가 조명을 억제하는 것을 학습한다.
• 전문 비디오 게임 및 영화 제작에 필요한 품질을 확보하기 위해 정확하고 고해상도의 BRDF 매개변수 예측(512×512)을 가능하게 한다.
• Substance Designer와 같은 도구에서 수작업으로 작성된 재질의 스타일 일관성을 반영하면서도 추가 정제 없이도 예측된 재질 맵을 생성한다.

제안 방법

• 디즈니 BRDF 모델을 사용하여 8개의 픽셀별 BRDF 매개변수—반사율 색상(3채널), 법선(3채널), 거칠기(1채널), 금속성(1채널)—을 예측하는 생성자 네트워크를 갖춘 조건부 GAN을 학습한다.
• 다중 척도 판별기를 활용하여 예측된 매개변수 맵의 국소적·전역적 일관성을 강화함으로써 반사 반사 및 비균일 조명으로 인한 잡음 요소를 감소시킨다.
• 사전 학습된 VGG 네트워크를 기반으로 한 인지적 손실을 통합하여 예측된 재질의 시각적 현실감과 구조적 일관성을 향상시킨다.
• 다양한 렌더러를 사용하여 렌더링 손실을 계산함으로써 예측된 BRDF가 동일한 조명 조건에서 입력 이미지를 재현하도록 보장한다.
• 예측된 BRDF 매개변수를 정규화하기 위해 매개변수 손실을 적용하여 물리적 타당성과 출력 맵의 노이즈 감소를 강화한다.
• 실제 모바일 폰 촬영 조건을 시뮬레이션하기 위해 다양한 환경 조명을 가진 40,544개의 정합성 생성 재질로 구성된 대규모 합성 데이터셋에서 학습한다.

실험 결과

연구 질문

• RQ1 통제된 조명 조건이나 다중 시점이 없이도 단일 플래시 조명 스마트폰 사진에서 깊이 학습된 생성 모델이 공간적으로 변화하는 BRDF 매개변수를 신뢰성 있게 추정할 수 있는가?
• RQ2 다중 척도 판별기를 갖춘 GAN 기반 접근법이 최적화 기반 또는 오토인코더 기반 방법에 비해 플래시 반사 및 부가 조명과 같은 잡음 요소를 얼마나 효과적으로 줄이는가?
• RQ3 인지적 손실과 렌더링 손실을 통합할 경우, 순수 픽셀 기반 손실에 비해 예측된 BRDF 맵의 시각적 품질과 스타일 일관성은 얼마나 향상되는가?
• RQ4 이전 작업보다 더 높은 해상도(512×512)의 BRDF 맵을 유지하면서도 정밀도와 잡음 요소를 줄일 수 있는가?
• RQ5 통제된 조명과 환경 맵을 갖춘 합성 데이터에서만 학습된 네트워크가 실제 재료에 대해 잘 일반화되는가?

주요 결과

• 제안된 방법은 이전 작업 대비 4배 해상도를 확보하여 512×512 BRDF 매개변수 맵을 생성함으로써 훨씬 더 세밀한 디테일을 확보한다.
• 다중 척도 GAN 손실은 Deschaintre 등(2018)과 Li 등(2017)의 결과와의 시각적 비교를 통해 플래시 반사 및 부가 조명으로 인한 눈에 띄는 잡음 요소를 감소시킨다.
• 인지적 손실과 렌더링 손실은 수작업으로 작성된 Substance Designer 스타일을 더 잘 모방하는 전역적으로 일관된 매개변수 맵을 생성한다.
• 이전 방법에서 흔히 발생하는 코의 조명 감쇠 효과와 같은 부가 조명 영향을 성공적으로 제거하여 더 정확한 거칠기 및 반사율 맵을 생성한다.
• 통제된 조명 조건과 환경 맵을 갖춘 합성 데이터에서만 학습되었음에도 불구하고 실제 재료에 대해 잘 일반화되며, 비통제 조명 조건에 대한 강건성을 입증한다.
• 매개변수 손실의 통합으로 예측된 BRDF의 물리적 타당성이 향상되어 거칠기 및 금속성 값의 노이즈와 비현실적인 변동이 감소한다.