[논문 리뷰] 2D Image Relighting with Image-to-Image Translation

Paul Gafton, Erick Maraz|ArXiv.org|2020. 06. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 9

한 줄 요약

이 논문은 VIDIT 데이터셋을 사용해 2D 이미지 리라이팅을 위한 GAN 기반의 이미지-이미지 번역 방법을 제안한다. pix2pix 프레임워크를 기반으로 하며, 입력 이미지의 빛 방향을 8개의 정의된 위치(N, NE, E 등) 중 하나로 전이한다. 기하학적 사전 지식 없이도 합리적인 그림자와 조명 일관성을 달성하였으며, 목표 방향에 따라 PSNR 값은 20.56 dB에서 22.24 dB 사이로 변동한다.

ABSTRACT

With the advent of Generative Adversarial Networks (GANs), a finer level of control in manipulating various features of an image has become possible. One example of such fine manipulation is changing the position of the light source in a scene. This is fundamentally an ill-posed problem, since it requires understanding the scene geometry to generate proper lighting effects. This problem is not a trivial one and can become even more complicated if we want to change the direction of the light source from any direction to a specific one. Here we provide our attempt to solve this problem using GANs. Specifically, pix2pix [arXiv:1611.07004] trained with the dataset VIDIT [arXiv:2005.05460] which contains images of the same scene with different types of light temperature and 8 different light source positions (N, NE, E, SE, S, SW, W, NW). The results are 8 neural networks trained to be able to change the direction of the light source from any direction to one of the 8 previously mentioned. Additionally, we provide, as a tool, a simple CNN trained to identify the direction of the light source in an image.

연구 동기 및 목표

• 기하학적 사전 지식이나 깊이 맵 없이도 자동으로 제어 가능한 2D 이미지 리라이팅을 가능하게 하기 위해.
• 합성 데이터로부터 현실적인 조명 전이를 학습하기 위해 GAN을 활용해 리라이팅 문제의 불완전성 문제를 해결하기 위해.
• 다양한 시점에서의 일반화를 가능하게 하면서도 전역적 이미지 일관성과 그림자 구조를 유지하는 시스템을 개발하기 위해.
• 복잡한 3D 재구성 파이프라인을 회피하고, 엔드 투 엔드 이미지-이미지 번역을 통해 리라이팅의 가능성을 평가하기 위해.
• 예술가들과 사진작가들이 후처리 단계에서 조명 변화를 효율적으로 탐색할 수 있도록 경량화되고 학습 가능한 도구를 제공하기 위해.

제안 방법

• 모든 입력 방향에서 N, NE, E, SE, S, SW, W, NW 중 하나의 목표 방향으로 조명을 전이할 수 있도록 8개의 별도 pix2pix GAN 모델을 훈련시켰다.
• 합성 VIDIT 데이터셋을 사용하였으며, 동일한 시점에서 8개의 조명 위치와 5개의 색온도를 제공하며, 조명 일관성의 참값을 제공한다.
• pix2pix가 요구하는 쌍체 입력-출력 형식으로 이미지를 전처리하였으며, 리라이팅 실험에서는 일정한 4500K 온도를 사용하였다.
• 표준 pix2pix 훈련을 적용하여 적대적 손실, L1 재구성 손실, 배치 정규화를 사용하였으며, 최적 성능을 위해 기본 초모수를 사용하였다.
• 입력 이미지에서 조명 방향을 예측하기 위해 별도의 8개 클래스 CNN 분류기 모델을 훈련시켰으며, Adam 옵timizer와 가변 학습률을 사용하였다.
• 손실 곡선과 시각적 샘플을 모니터링하여 최적의 초모수를 선택하고 모델 수렴 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 기하학적 사전 지식 없이도 GAN 기반의 이미지-이미지 번역이 2D 이미지 리라이팅의 불완전한 문제를 효과적으로 해결할 수 있는가?
• RQ2 GAN 기반 모델이 다양한 시점에서 그림자 구조와 전역 일관성을 유지하면서 조명 방향을 얼마나 잘 전이할 수 있는가?
• RQ3 제한된 그림자 정보와 간접 조명의 부재가 생성된 리라이팅 이미지의 품질에 어떤 영향을 미치는가?
• RQ4 경량화된 CNN 분류기가 단일 이미지에서 조명 방향을 얼마나 정확하게 예측할 수 있으며, 방향의 모호성에 대해 얼마나 강인한가?
• RQ5 순수하게 이미지 기반 접근 방식이 시각적 현실감과 방향 정확성 측면에서 3D 사전 지식 기반 방법을 능가하거나 동등하게 성능을 낼 수 있는가?

주요 결과

• 리라이팅 네트워크는 목표 방향에 따라 PSNR 값이 20.56 dB(서쪽 목표)에서 22.24 dB(남쪽 목표) 사이로 변동하여 중간에서 높은 재구성 정밀도를 보였다.
• 강한 방향성 조명에서는 그림자 투사가 일반적으로 정확했지만, 어두운 또는 복잡한 그림자는 세부 정보 부족과 간접 조명 부재로 인해 잘 복원되지 않았다.
• 직선이 많은 인위적 시점에서는 아티팩트가 발생하여, 변환 과정에서 기하학적 일관성을 유지하는 데 어려움이 있음을 시사했다.
• 조명 방향 분류기는 45도 범위 내에서 65%의 정확도, 90도 범위 내에서는 97%의 정확도를 기록하여 강력한 방향 일반화 능력을 보였다.
• 훈련 과정에서 점진적인 향상이 관찰되었으며, 500~750 에포크 이후 수렴이 눈에 띄게 나타났지만, 최적 결과를 얻기 위해서는 전체 1000 에포크 훈련이 필요했다.
• 기하학적 사전 지식 대신 단안 깊이 추정을 사용할 경우 ' soapy film' 아티팩트가 발생하고 그림자 품질이 열악해져, 측면 시점에서 현재 깊이 추정 기술의 한계를 드러냈다.