[논문 리뷰] VIDIT: Virtual Image Dataset for Illumination Transfer

Majed El Helou, Ruofan Zhou외 2명|arXiv (Cornell University)|2020. 05. 11.

Image Enhancement Techniques참고 문헌 8인용 수 39

한 줄 요약

VIDIT는 40개의 조명 구성(5 색온도 × 8 방향)으로 렌더링된 390개의 씬의 큰 가상 데이터셋을 제공하여 relighting 방법을 벤치마크하기 위해 15,600장의 이미지를 제공합니다. 공개 학습/검증 세트와 벤치마킹용 비공개 테스트 세트로 나뉩니다.

ABSTRACT

Deep image relighting is gaining more interest lately, as it allows photo enhancement through illumination-specific retouching without human effort. Aside from aesthetic enhancement and photo montage, image relighting is valuable for domain adaptation, whether to augment datasets for training or to normalize input test data. Accurate relighting is, however, very challenging for various reasons, such as the difficulty in removing and recasting shadows and the modeling of different surfaces. We present a novel dataset, the Virtual Image Dataset for Illumination Transfer (VIDIT), in an effort to create a reference evaluation benchmark and to push forward the development of illumination manipulation methods. Virtual datasets are not only an important step towards achieving real-image performance but have also proven capable of improving training even when real datasets are possible to acquire and available. VIDIT contains 300 virtual scenes used for training, where every scene is captured 40 times in total: from 8 equally-spaced azimuthal angles, each lit with 5 different illuminants.

연구 동기 및 목표

• 미적 향상, 도메인 적응, 정규화를 위한 딥 이미지 재조명을 고무합니다.
• 조명 조작 방법에 대한 참조 평가 벤치마크를 만듭니다.
• 고정된 씬과 조명 구성에서 조명 전달의 양적 평가를 가능하게 하는 데이터셋을 제공합니다.

제안 방법

• Unreal Engine 4를 사용하여 1024×1024 씬을 무지향성 광원으로 렌더링합니다.
• 각 씬마다 40개의 조명 설정을 캡처합니다: 5개의 색온도와 8개의 광 방향.
• 중복을 피하고 모든 각도에서 유효한 조명을 보장하기 위해 씬을 수동으로 선택 및 정제합니다.
• 각 렌더링된 이미지와 함께 조명 설정 및 깊이 정보를 기록합니다.
• 데이터를 train (300 scenes, 12,000 images) public, validation (45 scenes, 1,800 images) public, and test (45 scenes, 1,800 images) private로 분할합니다.

실험 결과

연구 질문

• RQ1 다양한 조명 하에서 씬으로부터 조명 방향과 색온도를 예측할 수 있는가?
• RQ2 입력 이미지를 대상 도메인의 조명 설정에 맞게 변환할 수 있는가(any-to-one illumination transfer)
• RQ3 입력 이미지를 별도의 안내 이미지의 조명과 일치하도록 재조명할 수 있는가(any-to-any illumination transfer)

주요 결과

• 데이터셋은 390개 씬을 40개의 사전 결정된 조명 설정으로 렌더링한 이미지를 포함하며 총 15,600장의 이미지를 담고 있다.
• 학습 세트는 300 씬에서 나온 12,000 이미지(공개); 검증 세트는 45 씬에서 나온 1,800 이미지(공개); 테스트 세트는 45 씬에서 나온 1,800 이미지(비공개).
• 이미지는 해상도 1024×1024이며 깊이 정보를 포함합니다.
• 조명 설정은 5개의 색온도(2500K, 3500K, 4500K, 5500K, 6500K)와 8개의 방향(N, NE, E, SE, S, SW, W, NW)을 포함합니다.
• 데이터셋은 가이드 입력 또는 조명 설정을 사용한 any-to-one 및 any-to-any 조명 스타일 전송 평가를 위한 것입니다.