[논문 리뷰] Deep Relighting Networks for Image Light Source Manipulation

Wang, Li-Wen, Wan-Chi Siu외 3명|arXiv (Cornell University)|2020. 08. 19.

Advanced Vision and Imaging참고 문헌 37인용 수 4

한 줄 요약

이 논문은 단일 이미지 리라이팅을 세 단계 과정으로 포지셔닝하는 딥 리라이팅 네트워크(Deep Relighting Network, DRN)를 제안한다: 백프로젝션 강화 자동에코더를 통한 시점 재구성, 새로운 조명 방향을 위한 적대적 그림자 사전 추정, 그리고 목표 조명 조건 하에서의 재렌더링. 이 방법은 최신 기술 수준의 성능을 달성하여 AIM2020 이미지 리라이팅 챌린지에서 최고의 PSNR 기록을 달성했다.

ABSTRACT

Manipulating the light source of given images is an interesting task and useful in various applications, including photography and cinematography. Existing methods usually require additional information like the geometric structure of the scene, which may not be available for most images. In this paper, we formulate the single image relighting task and propose a novel Deep Relighting Network (DRN) with three parts: 1) scene reconversion, which aims to reveal the primary scene structure through a deep auto-encoder network, 2) shadow prior estimation, to predict light effect from the new light direction through adversarial learning, and 3) re-renderer, to combine the primary structure with the reconstructed shadow view to form the required estimation under the target light source. Experimental results show that the proposed method outperforms other possible methods, both qualitatively and quantitatively. Specifically, the proposed DRN has achieved the best PSNR in the "AIM2020 - Any to one relighting challenge" of the 2020 ECCV conference.

연구 동기 및 목표

• 기하학적 시점 사전 지식이나 명시적 3D 구조를 요구하지 않고 단일 이미지 리라이팅 문제를 해결하기 위해.
• 단일 이미지 내에서 조명 방향과 색온도를 조작하여 현실적인 그림자 및 조명 효과를 생성하기 위해.
• 시점 구조와 조명 효과를 분리함으로써 리라이팅 과정에서 이미지 품질과 구조적 일致성을 향상시키기 위해.
• 암묵적 조명 효과 감독 학습의 어려움을 극복하기 위해 그림자 영역 판별자(Shadow-region discriminator)를 도입하기 위해.

제안 방법

• DRN은 백프로젝션 레이어를 통합한 딥 오토에코더를 사용하여, 다운샘플링 및 업샘플링 과정에서 공간적 세부 정보를 유지하면서 단일 이미지에서 주요 시점 구조를 재구성한다.
• 그림자 사전 추정 모듈은 새로운 조명 방향과 색온도에서 현실적인 조명 효과를 예측하기 위해 새로운 그림자 영역 판별자를 활용한 적대적 학습을 수행한다.
• 재렌더러는 재구성된 시점 구조와 예측된 그림자 사전을 조합하여 목표 조명 조건 하에서 최종 이미지를 생성한다.
• 네트워크는 인지적 손실과 적대적 손실을 함께 사용하여 엔드 투 엔드로 학습되며, 지도된 조명 효과가 없더라도 고해상도 리라이팅을 가능하게 한다.
• 백프로젝션 이론을 오토에코더에 통합하여 특징 학습의 안정성과 재구성 정확도를 향상시킨다.
• 이 방법은 '어느 것에서 한 가지로' 리라이팅 작업, 즉 임의의 입력 조명을 특정 목표 조명 설정으로 변환하는 데 특별히 설계되어 있다.

실험 결과

연구 질문

• RQ1 기하학적 사전 지식이나 3D 시점 정보가 없이도 딥 러닝 모델이 현실적인 리라이팅 효과를 생성할 수 있는가?
• RQ2 명시적 감독이 없을 경우 새로운 조명 소스 하에서 그림자 효과를 정확히 예측하고 렌더링할 수 있는가?
• RQ3 백프로젝션 이론이 오토에코더 아키텍처에서 특징 재구성을 향상시켜 더 나은 리라이팅 성능을 낼 수 있는가?
• RQ4 조명 효과를 직접 측정하기 어려운 상황에서 적대적 학습이 리라이팅 이미지의 현실감을 얼마나 향상시킬 수 있는가?
• RQ5 통합된 네트워크 아키텍처가 단일 이미지 환경에서 다양한 조명 소스 구성(방향 및 색온도)에 일반화할 수 있는가?

주요 결과

• 제안된 DRN은 VIDIT 검증 데이터셋에서 최고의 PSNR 17.59 dB를 기록하여 U-Net, Retinex-Net, Pix2Pix를 모두 앞섰다.
• AIM2020 이미지 리라이팅 챌린지(트랙 1: 어떤 것에서 한 가지로)에서 DRN은 최종 테스트 단계에서 최고의 PSNR 점수를 확보했다.
• 시각적 비교 결과 DRN은 조명 방향과 색온도를 정확히 조작하면서 잡음과 아티팩트를 최소화하고 그림자 일관성을 유지함을 보였다.
• 어두운 입력 이미지와 같은 도전적인 케이스에서도 DRN은 그림자를 성공적으로 재구성했으며, U-Net과 Pix2Pix보다 시점 복구 능력과 그림자 현실감에서 뛰어난 성능을 보였다.
• 그림자 영역 판별자는 특히 저조도 또는 고대비 상황에서 학습 안정성과 현실감을 크게 향상시켰다.
• 강력한 성능에도 불구하고 입력 이미지가 대부분의 정보를 상실한 경우(예: 완전히 어두운 영역), 미세한 구조적 세부 정보 복구가 어려운 점을 보이며, 인painting 능력에 한계가 있음을 시사한다.