[논문 리뷰] Structural Decompositions for End-to-End Relighting.

Thomas Nestmeyer, Iain Matthews외 2명|arXiv (Cornell University)|2019. 06. 07.

Computer Graphics and Visualization Techniques참고 문헌 37인용 수 3

한 줄 요약

이 논문은 인간 얼굴 영상을 반사율과 잔여 성분으로 분해하여 정확한 재조명을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 물리 기반의 이미지 형성 모델을 통해 내재 이미지 성분을 모델링하고, 비반사율 효과를 잔여 성분으로 예측함으로써, 복잡한 조명 조건과 도전적인 자세에서도 정밀하고 일반화된 재조명을 구현한다. 32개의 제어된 조명 소스를 갖춘 21명의 피험자로 구성된 라이트 스테이지 데이터셋을 통해 검증되었다.

ABSTRACT

Relighting is an essential step in realistically transferring objects from a captured image into another environment. For example, authentic telepresence in Augmented Reality requires faces to be displayed and relit consistent with the observer's scene lighting. We investigate end-to-end deep learning architectures that both de-light and relight an image of a human face. Our model decomposes the input image into intrinsic components according to a diffuse physics-based image formation model. We enable non-diffuse effects including cast shadows and specular highlights by predicting a residual correction to the diffuse render. To train and evaluate our model, we collected a portrait database of 21 subjects with various expressions and poses. Each sample is captured in a controlled light stage setup with 32 individual light sources. Our method creates precise and believable relighting results and generalizes to complex illumination conditions and challenging poses, including when the subject is not looking straight at the camera.

연구 동기 및 목표

• 증강 현실에서 인간 얼굴의 영상적 사실감 있는 재조명을 가능하게 하기 위해 내재 이미지 성분을 분리하는 법을 학습하는 것.
• 재조명 과정에서 투사 그림자와 반사광과 같은 비반사율 효과를 유지하는 데 도전하는 문제를 해결하는 것.
• 복잡한 조명 조건과 비면대칭 얼굴 자세에 대해 일반화 가능한 방법을 개발하는 것.
• 각 피험자당 32개의 조명 소스를 갖춘 대규모 제어된 라이트 스테이지 데이터셋을 활용해 모델을 훈련하고 평가하는 것.
• 중간 성분에 대한 명시적 지도 없이도 데라이트링과 재조명을 엔드 투 엔드로 학습하는 것.

제안 방법

• 물리 기반의 이미지 형성 모델을 사용해 입력 영상을 반사율 성분과 잔여 성분으로 분해한다.
• 투사 그림자와 반사광과 같은 비반사율 효과를 보완하기 위해 잔여 보정을 예측한다.
• 대규모 포트레이트 데이터베이스를 활용해 데라이트링과 재조명을 동시에 최적화할 수 있도록 엔드 투 엔드로 네트워크를 훈련시킨다.
• 32개의 조명 소스를 갖춘 라이트 스테이지 설정을 활용해 21명의 피험자에 대해 다양한 조명 조건을 캡처한다.
• 물리적 이미지 형성 원칙을 유지하기 위해 가역성 있는 렌더링 파이프라인을 사용한다.
• 잔여 성분 예측 덕분에 도전적인 조명 조건과 자세 변화에서도 고해상도의 재조명이 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 엔드 투 엔드 재조명을 위해 물리적으로 의미 있는 성분으로 얼굴 영상을 정확히 분해할 수 있는가?
• RQ2 모델은 재조명 과정에서 반사광과 투사 그림자와 같은 비반사율 효과를 얼마나 잘 유지하는가?
• RQ3 모델은 복잡한 조명 조건과 비면대칭 얼굴 자세에 얼마나 잘 일반화되는가?
• RQ4 중간 성분에 대한 명시적 지도 없이도 모델이 영상적 사실감 있는 재조명을 달성할 수 있는가?
• RQ5 잔여 보정 메커니즘이 순수 반사율 렌더링에 비해 재조명의 정밀도를 얼마나 향상시키는가?

주요 결과

• 다양한 조명 조건과 얼굴 자세에서 정밀하고 신뢰할 수 있는 재조명 결과를 달성한다.
• 잔여 보정의 포함으로 반사광과 투사 그림자와 같은 비반사율 효과가 잘 유지되어 정밀도가 크게 향상된다.
• 카메라를 직접 향하지 않은 도전적인 자세에서도 효과적으로 일반화된다.
• 32개의 제어된 조명 소스로 촬영된 21명의 피험자 데이터셋에서 뛰어난 성능을 보인다.
• 엔드 투 엔드 훈련을 통해 중간 성분의 지도 없이도 정확한 데라이트링과 재조명이 가능하다.
• 반사율과 잔여 성분으로의 분해 덕분에 일관되고 물리적으로 타당한 재조명 결과를 도출할 수 있다.