[논문 리뷰] Single-image Full-body Human Relighting

Manuel Lagunas, Xin Sun외 6명|arXiv (Cornell University)|2021. 01. 01.

Image Enhancement Techniques참고 문헌 46인용 수 12

한 줄 요약

이 논문은 사전에 계산된 레이디언스 전달(PRT)과 구면 조화함수(SH)를 사용하여 이미지를 알베도, 조명, 조명 전달로 분해함으로써 단일 이미지 기반의 전체 신체 인간 재조명을 위한 딥러닝 방법을 제안한다. 비산란 반사(오렌-나이어)와 산란 반사(GGX) 반사 모델을 명시적으로 모델링하고, PRT 복원 오차를 보정하기 위한 학습 가능한 잔차 항을 포함한다. 이 방법은 합성 이미지와 실제 사진 양쪽에서 이전의 최고 성능 기준을 초월하는 재조명 정확도를 달성한다.

ABSTRACT

We present a single-image data-driven method to automatically relight images with full-body humans in them. Our framework is based on a realistic scene decomposition leveraging precomputed radiance transfer (PRT) and spherical harmonics (SH) lighting. In contrast to previous work, we lift the assumptions on Lambertian materials and explicitly model diffuse and specular reflectance in our data. Moreover, we introduce an additional light-dependent residual term that accounts for errors in the PRT-based image reconstruction. We propose a new deep learning architecture, tailored to the decomposition performed in PRT, that is trained using a combination of L1, logarithmic, and rendering losses. Our model outperforms the state of the art for full-body human relighting both with synthetic images and photographs.

연구 동기 및 목표

• 통제된 조명 조건이나 다중 입력이 필요 없이 단일 사진으로부터 현실적인 전체 신체 인간 재조명을 가능하게 하기 위해.
• 라운드 반사 물질을 가정하는 이전의 단일 이미지 재조명 방법의 한계를 극복하기 위해.
• 비라운드 반사 반사(산란 및 산란)를 모델링하고 조명에 의존하는 잔차 항을 추가함으로써 이미지 복원 정확도를 향상시키기 위해.
• 알베도, 조명, 전달을 분리하는 효과적인 재조명을 위한 대규모 합성 데이터셋으로 훈련된 딥러닝 프레임워크를 개발하기 위해.
• 합성 이미지와 실제 세계 이미지 양쪽에서 재조명 품질 측면에서 최고 성능을 달성하기 위해.

제안 방법

• 사전에 계산된 레이디언스 전달(PRT)과 구면 조화함수(SH)를 사용하여 조명과 조명 전달을 미분 가능하고 효율적인 방식으로 모델링한다.
• 사용자 정의 CNN 아키텍처를 사용하여 입력 이미지를 알베도, 조명(SH 계수), 전달(PRT 기반) 성분으로 분해한다.
• 산란 반사 반사에 대해 오렌-나이어 모델을, 산란 반사 반사에 대해 GGX 마이크로피어스 모델을 사용하여, 라운드 반사 가정보다 현실감 있는 결과를 향상시킨다.
• PRT 기반 이미지 복원 오차를 보정하기 위한 학습 가능한 조명에 의존하는 잔차 항을 도입한다.
• L1, 로그 기반, 렌더링 손실의 조합을 사용하여 네트워크를 훈련함으로써 시각적 및 정량적 정확도를 향상시킨다.
• 다양한 인간, 자세, 조명 맵을 포함한 약 14만 장의 합성 이미지 데이터셋을 사용하여 지도 학습을 수행한다.

실험 결과

연구 질문

• RQ1 단일 이미지 딥러닝 방법이 다중 이미지나 통제된 조명 조건 없이 고해상도 전체 신체 인간 재조명을 달성할 수 있는가?
• RQ2 명시적인 비라운드 반사 반사 모델링(Oren-Nayar 및 GGX)이 라운드 반사 가정에 비해 재조명의 현실감을 얼마나 향상시키는가?
• RQ3 학습 가능한 잔차 항을 추가함으로써 PRT 기반 재조명의 복원 정확도는 어느 정도 향상되는가?
• RQ4 제안된 방법은 최고 성능 기준 단일 이미지 재조명 접근법에 비해 실제 사진으로의 일반화 성능은 어떠한가?
• RQ5 다양한 손실 함수와 아키텍처 구성 요소가 최종 재조명 품질에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 합성 이미지와 실제 사진 양쪽에서 L1, L2, PSNR 지표에서 이전의 최고 성능 기준 [KE18]을 초월하는 최고 수준의 재조명 품질을 달성한다.
• 제거 실험 결과, 잔차 학습과 비라운드 반사 반사 모델링을 포함한 전체 모델이 가장 우수한 성능을 보이며, 실제 사진에서 PSNR는 29.83을 기록하여 [KE18]의 27.27보다 높다.
• 잔차 항의 포함은 백조명 조건과 같은 도전적인 조명 조건에서도 PRT 복원 오차를 흡수함으로써 복원 품질을 크게 향상시킨다.
• 명시적인 오렌-나이어 및 GGX 반사 반사 모델링을 통한 모델은 라운드 반사 기반 베이스라인에 비해 방향성 조명 효과와 산란 반사 강조를 더 잘 포착한다.
• 제거 실험 결과, 잔차 항 또는 PRT 분해를 제거할 경우 성능에 심각한 하락이 발생함을 확인하여, 이들이 핵심적인 역할을 한다는 것을 입증한다.
• 강한 산란광(예: 얼굴 영역의 평탄한 알베도)에 대한 제한이 있음에도 불구하고, 다양한 입력에 대해 타당하고 정확한 재조명 결과를 생성한다.