[논문 리뷰] End-to-End Conditional GAN-based Architectures for Image Colourisation

Marc Górriz, Marta Mrak외 2명|arXiv (Cornell University)|2019. 08. 26.

Image Enhancement Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 U-Net 아키텍처에 인스턴스-배치 정규화(Instance-Batch Normalisation, IBN), 스펙트럴 정규화(Spectral Normalisation, SN), 다중 척도 판별기(multi-scale discriminators)를 통합하여 훈련 안정성과 색채화도를 향상시킨 엔드 투 엔드 조건부 GAN 기반 이미지 색채화 아키텍처를 제안한다. 이 방법은 ILSVRC 2012에서 최신 기술 수준의 성능을 달성하여 채도 저하를 줄이고 국소적 색상 세부 정보를 향상시키면서도 인지적 품질을 유지한다.

ABSTRACT

In this work recent advances in conditional adversarial networks are investigated to develop an end-to-end architecture based on Convolutional Neural Networks (CNNs) to directly map realistic colours to an input greyscale image. Observing that existing colourisation methods sometimes exhibit a lack of colourfulness, this paper proposes a method to improve colourisation results. In particular, the method uses Generative Adversarial Neural Networks (GANs) and focuses on improvement of training stability to enable better generalisation in large multi-class image datasets. Additionally, the integration of instance and batch normalisation layers in both generator and discriminator is introduced to the popular U-Net architecture, boosting the network capabilities to generalise the style changes of the content. The method has been tested using the ILSVRC 2012 dataset, achieving improved automatic colourisation results compared to other methods based on GANs.

연구 동기 및 목표

• GAN 기반 이미지 색채화에서 지속적인 채도 저하 문제를 해결하여 인지적 현실감을 향상시키기 위해.
• 아키텍처 및 정규화 개선을 통해 조건부 GAN의 훈련 안정성을 향상시켜 엔드 투 엔드 색채화를 구현하기 위해.
• 통합된 인코더-디코더 아키텍처에서 인스턴스 및 배치 정규화를 통합하여 다양한 이미지 클래스 간 일반화 능력을 향상시키기 위해.
• 다중 척도 판별기 설계를 통해 국소적 색상 세부 정보와 전반적인 색채화도를 향상시키기 위해.
• 스펙트럴 정규화와 IBN의 효과를 검증하여 적대적 훈련 중 색채의 풍부함을 유지할 수 있는지 확인하기 위해.

제안 방법

• 엔드 투 엔드 이미지-투-이미지 변환을 위해 잔차(skip) 연결을 갖춘 U-Net 기반 인코더-디코더 아키텍처를 채택한다.
• 생성기와 판별기 양쪽에 인스턴스-배치 정규화(Instance-Batch Normalisation, IBN)를 도입하여 특징 분산을 안정화시키고 스타일 일반화 능력을 향상시킨다.
• 판별기의 가중치 업데이트를 정규화하기 위해 스펙트럴 정규화(Spectral Normalisation, SN)를 적용하여 모드 붕괴를 방지한다.
• 국소적 세부 정보 생성 능력 향상과 작은 영역의 색상 정확도 향상을 위해 다중 척도 판별기(multi-scale discriminator, MD)를 도입한다.
• 적대적 손실, L1 회귀 손실, VGG19 특징 기반 인지적 손실을 조합한 복합 손실 함수를 사용한다.
• 사전 훈련된 VGG19 레이어의 특징 맵 간 L1 거리로 계산된 인지적 손실을 사용하여 ILSVRC 2012 데이터셋을 기반으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 조건부 GAN 기반 이미지 색채화에서 훈련 불안정성을 어떻게 완화시켜 채도 저하를 방지할 수 있는가?
• RQ2 인스턴스 및 배치 정규화를 조합함으로써 GAN 기반 색채화에서 특징 표현과 색상 일반화 능력이 얼마나 향상되는가?
• RQ3 스펙트럴 정규화가 색채화 작업에서 판별기의 안정성과 성능을 향상시키는 데 기여하는가?
• RQ4 다중 척도 판별기는 국소적 색상 세부 정보와 전반적인 색채화도를 어떻게 향상시키는가?
• RQ5 IBN, SN, MD의 통합이 인지적 및 정량적 색채화 지표에서 측정 가능한 향상 효과를 가져오는가?

주요 결과

• IBN+SN+MD 구성이 기준 모델 대비 가장 낮은 인지적 손실(57.77)과 향상된 L1 거리(11.20)를 기록하여 더 나은 인지적 품질과 색채 풍부함을 나타낸다.
• 스펙트럴 정규화가 적대적 손실의 안정성을 크게 향상시켜 조기 붕괴를 방지하고 과적합을 감소시켜 색채화도를 유지했다.
• IBN+SN 조합은 16번째 에포크 이후에 적대적 손실이 급격히 향상되어 효과적인 안정화와 특징 일반화 향상을 입증했다.
• 다중 척도 판별기는 특히 작은 영역과 세부적인 영역에서 색채화도를 증가시켰으며, 시각적 비교와 히스토그램 분석을 통해 확인되었다.
• 기본 모델인 pix2pix(BN) 대비 제안된 방법이 인지적 및 색채화도 지표에서 뛰어난 성능을 보였으며, 인지적 손실이 2.5% 향상되었고 색채 분포가 더 우수했다.
• 색상 히스토그램 분석 결과, 제안된 방법이 생성한 ab 채널은 실제 데이터 분포와의 교차가 감소하여 더 다양한 실재감 있는 색상 출력을 의미한다.