[논문 리뷰] Material Editing Using a Physically Based Rendering Network

Guilin Liu, Duygu Ceylan외 3명|arXiv (Cornell University)|2017. 08. 01.

Computer Graphics and Visualization Techniques참고 문헌 13인용 수 6

한 줄 요약

이 논문은 단일 이미지에서 형태, 조명, 재질을 동시에 예측한 후, 물리 기반 렌더링 레이어를 사용해 출력을 합성하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 방법은 미분 가능하고 물리 기반인 렌더링 레이어를 활용하여 이미지 형성 과정을 모델링함으로써, 합성 및 실사 이미지에서 모두 최신 기술 수준의 성능을 달성하며, 균일하고 반사 재질을 지원하는 미분 가능 렌더러를 통해 시각적 타당성과 일반화 능력을 크게 향상시킨다.

ABSTRACT

The ability to edit materials of objects in images is desirable by many content creators. However, this is an extremely challenging task as it requires to disentangle intrinsic physical properties of an image. We propose an end-to-end network architecture that replicates the forward image formation process to accomplish this task. Specifically, given a single image, the network first predicts intrinsic properties, i.e. shape, illumination, and material, which are then provided to a rendering layer. This layer performs in-network image synthesis, thereby enabling the network to understand the physics behind the image formation process. The proposed rendering layer is fully differentiable, supports both diffuse and specular materials, and thus can be applicable in a variety of problem settings. We demonstrate a rich set of visually plausible material editing examples and provide an extensive comparative study.

연구 동기 및 목표

• 단일 이미지 기반 2D 콘텐츠 생성에서 형태, 조명, 재질과 같은 내재된 물리적 성질을 분리함으로써 현실적인 재질 편집을 가능하게 하기 위해.
• 흑상적 특징 기반 방법과 비교할 때, 물리 기반 렌더링 레이어를 활용해 이미지 형성 과정의 정방향 모델링을 통해 내재 이미지 분해의 모호성을 해결하기 위해.
• 합성 데이터셋으로 훈련하고 실사 이미지에서 사후 최적화를 통해 예측을 보정함으로써 일반화 능력과 시각적 타당성을 향상시키기 위해.
• 실세계 데이터에 대한 지도 학습 없이도 물리적 일致성을 유지하는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 딥 네트워크에 미분 가능 렌더러를 통합함으로써 더 나은 분리 및 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 네트워크는 단일 입력 이미지에서 형태(노멀), 조명(환경 맵), 재질(BRDF)을 동시에 예측하는 공동 예측 헤드를 사용한다.
• 예측된 내재 성질들은 전적으로 미분 가능한 물리 기반 렌더링 레이어에 입력되며, 이는 정방향 이미지 형성 과정을 시뮬레이션한다.
• 렌더링 레이어는 균일 및 반사 재질을 모두 지원하며, 환경 맵를 사용해 복잡한 조명 조건을 모델링한다.
• 손실 함수는 예측된 내재 성질에 대한 L2 손실과 렌더링된 출력 이미지에 대한 인지적 손실을 조합하여 시각적 현실감을 향상시킨다.
• 네트워크는 다양한 재질과 조명 조건을 가진 렌더링 파이프라인을 사용해 생성된 합성 데이터셋으로 훈련되며, 이는 실사 이미지로의 일반화를 가능하게 한다.
• 사후 최적화는 예측된 초기 상태를 기반으로 비凸 최적화를 통해 이미지 재구성 오차를 최소화함으로써 실사 이미지에서의 예측을 보정하기 위해 적용된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 사전 가정 없이 단일 이미지에서 형태, 조명, 재질과 같은 내재 이미지 성질을 효과적으로 분리할 수 있는가?
• RQ2 흑상적 특징 기반 방법과 비교할 때, 미분 가능하고 물리 기반 렌더링 레이어를 통합함으로써 재질 편집의 품질과 타당성은 어떻게 향상되는가?
• RQ3 합성 데이터로 훈련된 네트워크가 복잡한 재질과 조명 조건을 가진 실세계 이미지로의 일반화 능력은 어느 정도인가?
• RQ4 내재 예측에 대한 L2 손실과 렌더링된 이미지에 대한 인지적 손실을 조합하면, 각각을 별도로 사용할 때보다 더 나은 시각적 결과를 얻을 수 있는가?
• RQ5 초기 예측이 완벽하지 않은 경우에도, 실사 이미지에 적용된 사후 최적화가 예측 품질을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 정량적 및 정성적 평가에서 베이스라인 모델을 능가하며, 사후 최적화를 적용한 합성 데이터에서 인지적 SSIM이 0.9557에 도달했고, 그렇지 않은 경우는 0.9408이었다.
• L2 손실과 인지적 손실을 조합한 결과, L2 손실만 사용했을 때보다 더 선명하고 현실적인 결과를 도출했으며, L2 손실만 사용한 경우는 예측이 흐릿해졌다.
• 실사 이미지에서 사후 최적화가 예측 품질을 크게 향상시켰으며, 제안된 방법은 Lombardi 등 [13] 및 기존 모델보다 시각적으로 열등한 재질 전환을 수행했다.
• 제한된 조명과 재질 조건을 가진 합성 데이터로만 훈련된 네트워크도 실사 이미지에서 사후 최적화를 위한 강력한 초기화를 제공하여 고품질 편집을 가능하게 했다.
• 미분 가능 렌더링 레이어 덕분에 이미지 형성의 물리적 과정을 통해 효과적인 역전파가 가능해져, 물리적으로 일致하는 표현을 학습할 수 있었다.
• 이 방법은 실사 이미지 내 객체 간 재질 교체를 성공적으로 수행했으며(그림 10), 훈련 분포를 초월한 강건성과 일반화 능력을 입증했다.