[논문 리뷰] Shadow Transfer: Single Image Relighting For Urban Road Scenes

Alexandra Carlson, Ram Vasudevan외 1명|arXiv (Cornell University)|2019. 09. 23.

Image Enhancement Techniques참고 문헌 38인용 수 6

한 줄 요약

이 논문은 단일 실외 도시 풍경을 재조명하기 위해 유일하게 RGB 이미지, 깊이 맵, 세분화 마스크를 사용하여 현실적인 그림자, 조명 및 색온도를 전이하는 자기지도 학습 딥러닝 프레임워크인 Shadow Transfer를 제안한다. 이는 CARLA-sun과 KITTI-sun과 같은 합성 및 실제 데이터셋에서 상태 기반 이미지 간 번역 기법보다 시각적 품질과 사진적 사실성에서 뛰어나며, 레이블이 부여된 조명 정보가 필요 없이도 인지적 충실도를 높인다.

ABSTRACT

Illumination effects in images, specifically cast shadows and shading, have been shown to decrease the performance of deep neural networks on a large number of vision-based detection, recognition and segmentation tasks in urban driving scenes. A key factor that contributes to this performance gap is the lack of `time-of-day' diversity within real, labeled datasets. There have been impressive advances in the realm of image to image translation in transferring previously unseen visual effects into a dataset, specifically in day to night translation. However, it is not easy to constrain what visual effects, let alone illumination effects, are transferred from one dataset to another during the training process. To address this problem, we propose deep learning framework, called Shadow Transfer, that can relight complex outdoor scenes by transferring realistic shadow, shading, and other lighting effects onto a single image. The novelty of the proposed framework is that it is both self-supervised, and is designed to operate on sensor and label information that is easily available in autonomous vehicle datasets. We show the effectiveness of this method on both synthetic and real datasets, and we provide experiments that demonstrate that the proposed method produces images of higher visual quality than state of the art image to image translation methods.

연구 동기 및 목표

• 그림자 및 색온도와 같은 다양한 조명 조건으로 인한 딥 네트워크의 성능 저하 문제를 해결하기 위해.
• 레이블이 부여된 조명 데이터가 필요 없이 실제 도시 풍경에 현실적인 조명 효과를 적용할 수 있는 방법을 개발하기 위해.
• 자율주행 차량 데이터셋에서 흔히 얻을 수 있는 RGB 이미지, 깊이 맵, 세분화 마스크와 같은 쉽게 확보 가능한 센서 데이터를 활용하는 자기지도 프레임워크를 구축하기 위해.
• 실제 조명 전이를 통해 훈련 데이터를 증강시켜 시각 기반 모델(예: 객체 검출, 세분화)의 시간대 변화에 대한 강인성을 향상시키기 위해.
• 합성 데이터와 실제 세계 데이터 간의 도메인 갭을 줄이기 위해 기하학적 및 물질적 일관성을 유지하면서 사진적 사실성 있는 재조명 이미지를 생성하기 위해.

제안 방법

• 프레임워크는 사전 훈련된 SunEst-CNN 모델의 특징을 기반으로 한 인지적 손실을 포함하는 다중 작업 손실을 사용하여 자기지도 방식으로 훈련된 딥 인코더-디코더 아키텍처를 사용한다.
• 입력은 단일 카메라 뷰에서 유도된 단일 RGB 이미지, 예측된 깊이 맵, 세분화 맵으로 구성된다.
• 모델은 입력 기하학적 구조와 외관에 조건부로 재조명된 RGB 이미지를 예측함으로써 그림자, 조명, 전반적인 색온도와 같은 조명 효과를 전이한다.
• 핵심 기여는 조명 특징을 유지하도록 유도하는 SunEst-CNN 특징 손실을 사용한 것으로, 이는 실제 조명 레이블이 없이도 현실감 있는 결과를 향상시킨다.
• 모델은 종단 간 방식으로 작동하여 다중 뷰나 물질 성질 사전 지식 없이도 어떤 시간대 조건에도 재조명을 수행할 수 있다.
• 프레임워크는 합성 데이터(CARLA-sun)에서 훈련하고 실제 데이터(KITTI-sun)에서 미세조정하여 실제 도메인 풍경으로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 자율주행 차량 센서 데이터만을 사용하여 자기지도 딥러닝 모델이 단일 실외 풍경 이미지에 현실적인 그림자와 조명을 효과적으로 전이할 수 있는가?
• RQ2 제안된 Shadow Transfer 프레임워크는 상태 기반 다중 도메인 이미지 간 번역 모델과 비교할 때 시각적 품질과 잡음 생성 측면에서 어떻게 성능을 내는가?
• RQ3 깊이 및 세분화 맵 입력이 재조명 출력 이미지의 현실감과 정확도에 얼마나 기여하는가?
• RQ4 도메인 특화 특징 손실(SunEst-CNN)을 통합함으로써 모델이 실제 세계 풍경의 시간대 조명 변화를 더 잘 포착할 수 있는가?
• RQ5 합성 데이터에서 실제 도시 도로 풍경으로 일반화할 수 있는가? 이때 사진적 사실성은 유지되고 잡음은 최소화되는가?

주요 결과

• CARLA-sun 합성 데이터셋에서 Shadow Transfer는 모든 조명 위치에서 ComboGAN 및 StarGAN보다 높은 평균 구조적 유사도(MSSIM)를 달성하여 뛰어난 인지적 품질을 입증했다.
• 제안된 방법은 색온도와 그림자를 잘 포착했음에도 불구하고 눈에 띄는 번역 잡음을 유발하는 ComboGAN에 비해 더 적은 시각적 잡음(예: 흐림, 왜곡)을 생성했다.
• 절단 실험 결과, 깊이 맵과 세분화 맵을 함께 사용할 경우 각각의 모odalities를 별도로 사용하는 것보다 이미지 품질 향상이著명했으며, SunEst-CNN 손실은 보조적이나 의미 있는 향상을 제공했다.
• 실제 KITTI-sun 데이터셋에서 SunEst-CNN 손실이 포함된 전체 모델은 조명 특징을 성공적으로 전이했지만, 이 손실이 없는 모델들은 의미 있는 조명 효과 전이에 실패했다.
• 깊이 전용 모델은 더 현실적인 픽셀 통계를 유지했고, 세분화 전용 모델은 더 나은 동적 그림자 분포를 포착했다. 이는 두 입력 간 상호보완적인 강점이 있음을 시사한다.
• 강력한 성능에도 불구하고, 모델은 고주파 노이즈와 국소 텍스처 세부 정보 처리에 어려움을 겪었으며, 이는 입력 깊이 맵과 세분화 맵의 해상도가 상대적으로 낮기 때문일 것이다.