[논문 리뷰] Thermal Infrared Colorization via Conditional Generative Adversarial Network

Xiaodong Kuang, Xiubao Sui외 4명|arXiv (Cornell University)|2018. 10. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 10

한 줄 요약

이 논문은 열화상 적외선 영상을 실사 수준의 RGB 색상 영상으로 변환하기 위해 코arse-to-fine 생성자와 함께 조건부 생성 적대 신경망(cGAN)을 제안한다. 콘텐츠 손실, 적대적 손실, 지각 손실, 총 변동 손실을 결합함으로써, 전반적인 구조를 유지하고 현실적인 질감을 생성하는 데 있어 기존 방법보다 정량적이고 정성적으로 뛰어난 성능을 달성한다.

ABSTRACT

Transforming a thermal infrared image into a realistic RGB image is a challenging task. In this paper we propose a deep learning method to bridge this gap. We propose learning the transformation mapping using a coarse-to-fine generator that preserves the details. Since the standard mean squared loss cannot penalize the distance between colorized and ground truth images well, we propose a composite loss function that combines content, adversarial, perceptual and total variation losses. The content loss is used to recover global image information while the latter three losses are used to synthesize local realistic textures. Quantitative and qualitative experiments demonstrate that our approach significantly outperforms existing approaches.

연구 동기 및 목표

• 단색 열화상 적외선 영상에서 실사 수준의 RGB 영상으로의 변환 과제를 해결하기 위해.
• 지각 품질과 질감의 현실감을 유지하는 데 있어 표준 평균 제곱 오차 손실의 한계를 극복하기 위해.
• 구조적 세부 정보를 유지하면서 고해상도 색상 영상 출력을 생성하는 딥 러닝 프레임워크를 개발하기 위해.
• 다양한 손실 구성 요소를 통합한 복합 손실 함수를 통해 영상 합성 품질을 향상시키기 위해.

제안 방법

• 이미지 세부 정보를 점진적으로 개선하고 구조적 정합성을 유지하기 위해 코어스-투-파인 생성자 아키텍처를 사용한다.
• 복합 손실 함수는 콘텐츠 손실(전반적 구조를 위해), 적대적 손실(현실감을 위해), 지각 손실(질감 유사성 위해), 총 변동 손실(부드러움을 위해)을 통합한다.
• 조건부 GAN 프레임워크는 입력 열화상 영상에 따라 해당하는 RGB 출력을 생성하도록 생성자를 조건화한다.
• 판별자는 실제 RGB 영상과 생성된 영상 간의 구별을 학습함으로써 현실적인 질감 합성에 유도한다.
• 지각 손실은 사전 훈련된 VGG 네트워크의 특징을 사용하여 생성된 영상과 실제 영상 간의 특징 수준에서의 일치를 계산한다.
• 전반적인 훈련 목표는 생성자를 복합 손실을 최소화하면서 판별자를 속이도록 최적화한다.

실험 결과

연구 질문

• RQ1 조건부 GAN은 높은 지각 품질을 유지하면서 열화상 적외선 영상에서 RGB 영상으로의 매핑을 효과적으로 학습할 수 있는가?
• RQ2 다양한 손실 유형을 통합한 복합 손실 함수는 표준 평균 제곱 오차 손실에 비해 색상화 성능을 어떻게 향상시키는가?
• RQ3 코어스-투-파인 생성자 설계는 복잡한 영역(예: 윤곽선 및 질감)에서 세부 정보를 얼마나 잘 유지할 수 있는가?
• RQ4 지각 손실과 적대적 손실을 포함함으로써 기존 기준 방법에 비해 더 현실적인 질감 합성이 이루어지는가?

주요 결과

• 제안된 방법은 정량적 지표와 시각적 품질 양면에서 기존 최첨단 기법들을 뛰어넘는 성능을 보였다.
• 복합 손실 함수는 단순히 평균 제곱 오차 손실을 사용하는 것보다 더 현실적인 질감과 더 나은 구조적 세부 정보 유지에 기여했다.
• 지각 손실과 적대적 손실은 기준 방법과의 정성적 비교를 통해 향상된 현실감을 입증했다.
• 코어스-투-파인 생성자 설계는 특히 윤곽선과 질감과 같은 복잡한 영역에서 세부 정보 복구를 향상시켰다.
• 기준 데이터셋에서 뛰어난 성능을 달성하였으며, PSNR 및 SSIM 지표에서 측정 가능한 향상이 있었다.
• 시각적 결과는 제안된 방법이 경쟁 기법들보다 더 자연스럽고 시각적으로 타당한 영상을 생성한다는 것을 보여주었다.