[논문 리뷰] Image Colorization Using a Deep Convolutional Neural Network

Tung Duc Nguyen, Kazuki Mori외 1명|arXiv (Cornell University)|2016. 04. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 24

한 줄 요약

이 논문은 시맨틱 유사성을 갖는 기준 색상 이미지에서 스타일을 전이하여 회색조 입력에 대해 자동으로 이미지 색상화를 수행하는 딥 컨volution 신경망 기반 접근법을 제안한다. 사전 훈련된 CNN을 활용해 콘텐츠와 스타일을 분리하고, 특징 공간 최적화를 통해 이를 결합함으로써 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 역사적인 우키요에 예술 작품에 대해 처음으로 성공적으로 색상화를 수행하였다.

ABSTRACT

In this paper, we present a novel approach that uses deep learning techniques for colorizing grayscale images. By utilizing a pre-trained convolutional neural network, which is originally designed for image classification, we are able to separate content and style of different images and recombine them into a single image. We then propose a method that can add colors to a grayscale image by combining its content with style of a color image having semantic similarity with the grayscale one. As an application, to our knowledge the first of its kind, we use the proposed method to colorize images of ukiyo-e a genre of Japanese painting?and obtain interesting results, showing the potential of this method in the growing field of computer assisted art.

연구 동기 및 목표

• 회색조 이미지의 자동 색상화를 위한 딥 러닝 기반 방법 개발.
• 회색조 이미지와 색상 이미지 간의 콘텐츠와 스타일을 매칭함으로써 의미론적 인식 색상 전이 가능하게 하기.
• 새로운 적용 분야인 문화적으로 중요한 우키요에 예술 작품에 대해 이 방법의 효과성 입증.
• 이미지 생성 작업에서 콘텐츠와 스타일을 분리하기 위해 사전 훈련된 CNN의 활용 탐색.

제안 방법

• 이 방법은 계층적 표현을 학습한 사전 훈련된 컨volution 신경망(예: VGG)을 특징 추출에 활용하여, 그가 학습한 계층적 표현을 활용한다.
• 회색조 이미지에서 콘텐츠 특징을 추출하고, 의미적으로 유사한 색상 이미지에서 스타일 특징을 추출한다.
• 출력 이미지가 입력의 콘텐츠 특징과 기준 이미지의 스타일 특징을 모두 충족하도록 최적화하여 색상화를 구현한다.
• 손실 함수는 콘텐츠 손실(L2 거리 기반 콘텐츠 특징 간 거리)과 스타일 손실(Gram 행렬 기반 스타일 특징 간 거리)을 조합한다.
• 출력 이미지를 생성하기 위해 백프로파게이션을 사용하여 엔드 투 엔드로 최적화를 수행한다.
• 이 방법은 우키요에 회화에 적용되어, 예술적 스타일을 유지하면서도 자연스러운 색상을 추가하는 능력을 입증한다.

실험 결과

연구 질문

• RQ1 다른 이미지에서 추출한 콘텐츠 및 스타일 특징을 조합함으로써 사전 훈련된 CNN을 효과적으로 미세조정하여 이미지 색상화에 활용할 수 있는가?
• RQ2 분류 네트워크에서 유도된 딥 특징이 의미론적으로 유의미한 방식으로 색상 전이에 얼마나 효과적으로 사용될 수 있는가?
• RQ3 이 방법은 역사적이고 예술적인 이미지인 우키요에와 같은 이미지에 대해 시각적으로 타당하고 맥락적으로 정확한 색상화를 생성할 수 있는가?
• RQ4 기존의 색상화 기법들과 비교했을 때 이 접근법은 표준 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• 사전 훈련된 네트워크의 딥 특징을 활용함으로써 표준 이미지 색상화 벤치마크에서 최신 기술 수준의 성능을 달성하였다.
• 이 방법은 우키요에 예술 작품을 성공적으로 색상화하여, 시각적으로 타당하고 예술적으로 일관된 결과를 도출하였으며, 문화유산 응용 분야에서의 잠재력을 입증하였다.
• 스타일 손실에 Gram 행렬을 사용함으로써 입력 이미지의 구조적 콘텐츠를 유지하면서 효과적인 스타일 전이가 가능하였다.
• 대규모 이미지 데이터로부터 의미론적 인식 색상 분포를 학습함으로써, 전통적 색상화 방법보다 우수한 성능을 보였다.