[논문 리뷰] AIM 2020: Scene Relighting and Illumination Estimation Challenge

Majed El Helou, Ruofan Zhou외 35명|arXiv (Cornell University)|2020. 09. 27.

Image Enhancement Techniques참고 문헌 56인용 수 14

한 줄 요약

이 논문은 시점 재조명 및 조명 추정에 관한 AIM 2020 챌린지를 제시하며, 40개의 조명 설정에서 렲면된 300개의 시점이 포함된 대규모이고 제어된 가상 데이터셋인 VIDIT 데이터셋을 소개한다. 챌린지는 일대일 재조명, 조명 추정, 그리고 임의의 조명 간 재조명을 평가하며, 최상위 제출 결과는 조명 유도 특징 매칭과 다단계 훈련을 활용한 딥 러닝 아키텍처를 통해 높은 PSNR 및 SSIM 점수를 기록하였다.

ABSTRACT

We review the AIM 2020 challenge on virtual image relighting and illumination estimation. This paper presents the novel VIDIT dataset used in the challenge and the different proposed solutions and final evaluation results over the 3 challenge tracks. The first track considered one-to-one relighting; the objective was to relight an input photo of a scene with a different color temperature and illuminant orientation (i.e., light source position). The goal of the second track was to estimate illumination settings, namely the color temperature and orientation, from a given image. Lastly, the third track dealt with any-to-any relighting, thus a generalization of the first track. The target color temperature and orientation, rather than being pre-determined, are instead given by a guide image. Participants were allowed to make use of their track 1 and 2 solutions for track 3. The tracks had 94, 52, and 56 registered participants, respectively, leading to 20 confirmed submissions in the final competition stage.

연구 동기 및 목표

• 제어된 대규모 가상 데이터셋을 통해 딥 러닝 기반 이미지 재조명의 기준을 설정하기 위해, 완전한 조명 변화를 수반하는 데이터셋을 제공한다.
• 고정된 원천에서 고정된 목표 조명으로의 일대일 재조명에서 최신 기술을 평가한다.
• 단일 이미지에서 색온도와 조명 방향을 추정하는 성능을 평가한다.
• 가이드 이미지를 사용하여 임의의 조명 간 재조명에 대한 일반화를 가능하게 한다.
• PSNR, SSIM, LPIPS 및 복합 평균 인지적 점수(MPS)를 포함한 표준화된 평가 프레임워크를 제공하여 공정한 비교를 가능하게 한다.

제안 방법

• VIDIT 데이터셋은 300개의 가상 시점으로 구성되며, 각 시점은 5개의 색온도에서 8개의 방위각으로 렌더링되어 총 40장의 이미지로 구성되며, 해상도는 1024×1024이다.
• 트랙 1(일대일 재조명)에서는 종단 간 딥 네트워크를 사용하여 북쪽(6500K)에서 동쪽(4500K) 조명으로의 입력 이미지 변환을 훈련한다.
• 트랙 2에서는 지도 학습을 통해 단일 이미지에서 색온도와 방향을 예측하는 전용 네트워크를 훈련한다.
• 트랙 3(임의의 조명 간 재조명)에서는 가이드 이미지를 사용하여 목표 조명을 추론하며, 입력 이미지와 가이드 이미지의 특징을 연결 및 특징 매칭을 통해 통합한다.
• 핵심 기법으로는 사전 훈련된 조명 네트워크를 사용해 가이드 이미지와 생성된 이미지 간의 중간 특징 표현을 매칭하는 것이다.
• 네트워크는 잔차 블록, 효율성을 높이기 위한 픽셀 셔플 레이어, 그리고 완전한 훈련 이전에 부분적인 훈련을 거치는 다단계 훈련을 사용하여 수렴성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 제어된 조명 변화가 가상 데이터셋에서 일대일 재조명을 수행할 때 딥 러닝 모델의 성능은 어떠한가?
• RQ2 지도 학습 없이 단일 이미지에서 색온도와 방향을 추정할 수 있는 모델의 성능은 어느 정도인가?
• RQ3 목표 조명을 보여주는 가이드 이미지를 제공받을 경우, 모델이 임의의 재조명 시나리오로 일반화할 수 있는가?
• RQ4 직접 픽셀 수준의 손실에 비해 특징 수준의 조명 매칭을 사용할 경우 재조명 작업에서 성능 향상은 얼마나 이루어지는가?
• RQ5 다양한 네트워크 아키텍처와 훈련 전략은 VIDIT 벤치마크에서 PSNR, SSIM 및 인지적 품질(LPIPS) 측면에서 어떻게 비교되는가?

주요 결과

• 트랙 1에서 최상위 성능을 기록한 방법은 평균 인지적 점수(MPS) 0.921을 기록하여, 구조적 유사성과 인지적 품질 측면에서 지도값과 강한 일치를 보였다.
• 트랙 2의 솔루션은 높은 정확도를 보였으며, 테스트 세트 전반에서 예측된 색온도와 방향이 지도값과 매우 유사하게 일치하였다.
• 트랙 3에서는 최고의 방법이 MPS 0.892를 기록하여, 가이드 이미지를 사용한 임의의 조명 간 재조명에 효과적인 일반화를 보였다.
• 특징 수준의 조명 매칭을 사용함으로써 인지적 품질이 크게 향상되었으며, 이는 LPIPS 점수 감소와 SSIM 값 상승을 통해 확인되었다.
• 코arse-to-fine 훈련과 잔차 네트워크의 조합은 복잡한 조명 전환 상황에서 수렴 속도 향상과 더 나은 성능을 이끌어냈다.
• VIDIT 데이터셋은 그 제어된 합성적 성격 덕분에 신뢰할 수 있는 전면 기반 평가를 가능하게 하여 향후 재조명 연구에 있어 귀중한 벤치마크가 되었다.