[논문 리뷰] Colorful Image Colorization

Richard Zhang, Phillip Isola외 1명|arXiv (Cornell University)|2016. 03. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 28

한 줄 요약

이 논문은 수백만 장의 컬러 이미지로 훈련된 컨volution 신경망(CNN)을 사용하여 완전 자동으로 생생하고 현실적인 이미지 컬러라이제이션을 위한 딥러닝 접근법을 제안한다. 클래스 재균형을 통해 희귀 색상에 초점을 맞추고, 안내된 평균 디코딩 전략을 사용함으로써, 인간이 32%의 컬러라이제이션 튜링 테스트에서 결과를 식별하지 못하도록 하는 시각적으로 현실적인 결과를 생성한다. 이는 이전 작업을 크게 능가하며, 자기지도 학습 전후 작업으로서 강력한 성능을 보여준다.

ABSTRACT

Given a grayscale photograph as input, this paper attacks the problem of hallucinating a plausible color version of the photograph. This problem is clearly underconstrained, so previous approaches have either relied on significant user interaction or resulted in desaturated colorizations. We propose a fully automatic approach that produces vibrant and realistic colorizations. We embrace the underlying uncertainty of the problem by posing it as a classification task and use class-rebalancing at training time to increase the diversity of colors in the result. The system is implemented as a feed-forward pass in a CNN at test time and is trained on over a million color images. We evaluate our algorithm using a "colorization Turing test," asking human participants to choose between a generated and ground truth color image. Our method successfully fools humans on 32% of the trials, significantly higher than previous methods. Moreover, we show that colorization can be a powerful pretext task for self-supervised feature learning, acting as a cross-channel encoder. This approach results in state-of-the-art performance on several feature learning benchmarks.

연구 동기 및 목표

• 사용자 상호작용 없이 완전 자동으로, 엔드 투 엔드 딥러닝 시스템을 개발하여 회색조 이미지의 컬러라이제이션을 생생하고 현실적으로 생성하는 것.
• 단일 결정론적 예측이 아닌, 픽셀 단위의 색상 분포를 모델링하여 컬러라이제이션의 본질적인 다중모달 불확실성을 다루는 것.
• 훈련 중 희귀하고 변동성이 큰 색상에 초점을 맞추기 위해 손실 함수를 재가중하여 예측의 일반화 및 다양성을 향상시키는 것.
• 시각적 현실성 수준을 측정하기 위해 인간 중심의 '컬러라이제이션 튜링 테스트'를 도입하여 컬러라이제이션 성능을 평가하는 것.
• 이미지 컬러라이제이션을 자기지도 학습 전후 작업으로 활용하여, 후속 비전 작업에서의 성능 향상에 기여하는 강력한 전후 작업으로서의 가능성을 탐색하는 것.

제안 방법

• 모델은 그레이스케일 이미지의 $L$ 채널(명도)를 입력으로 받아 CIE Lab 색상 공간의 $a$ 및 $b$ 채널을 예측하도록 훈련되며, 컬러라이제이션을 픽셀 단위의 분류 작업으로 설정한다.
• 훈련 시점에서 클래스 재균형을 적용한 크로스 엔트로피 손실을 사용하여 일반적인 색상에 대한 편향을 줄이고, 예측의 다양성을 높인다.
• 최종 컬러라이제이션 결과는 예측된 색상 분포의 안내된 평균을 취하여 신뢰도와 다양성의 균형을 이룬다.
• 네트워크는 피드포워드 방식의 CNN으로 구현되어 추론 시 빠른 처리가 가능하다.
• VGG 및 Fast R-CNN과 같은 표준 모델을 사용하여 이미지 분류, 객체 검출, 세그멘테이션 등의 후속 작업에서 모델를 미세조정하고 평가한다.
• 실제로 존재하는 오래된 흑백 사진에 대해서도 적용하여, 데이터 분포의 변화에 대한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 대규모 컬러 이미지 데이터셋으로 훈련된 딥 컨volution 신경망은 사용자 입력 없이 생생하고 현실적인 컬러라이제이션 결과를 생성할 수 있는가?
• RQ2 한 픽셀이 여러 가지 타당한 색상으로 대응할 수 있는 컬러라이제이션의 본질적인 다중모달 특성을 딥러닝 프레임워크에서 효과적으로 모델링할 수 있는가?
• RQ3 컬러라이제이션 작업이 자기지도 학습 전후 작업으로서 강력한 역할을 할 수 있는가? 이는 후속 비전 벤치마크에서 경쟁적인 성능을 낼 수 있는가?
• RQ4 인간 평가 환경에서 컬러라이제이션 모델이 실제 컬러 이미지와 구분되지 않을 정도로 높은 수준의 결과를 낼 수 있는가?
• RQ5 훈련 데이터 분포와 다를 수 있는 실제 세계의 오래된 흑백 사진에 대해 모델은 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 컬러라이제이션 튜링 테스트에서 32%의 성공률을 기록하여 이전 작업을 크게 능가하며, 인간 관찰자에게는 생성된 컬러라이제이션 결과가 실제와 거의 구분되지 않는다는 것을 입증한다.
• 클래스 재균형과 분포 예측 덕분에 이전의 회귀 기반 접근법보다 더 생생하고 다양한 컬러라이제이션 결과를 생성한다.
• PASCAL VOC 2007 분류 벤치마크에서, 자기지도 학습 방법 중 최고 성능을 기록하며 여러 이전 방법을 능가한다.
• PASCAL VOC 2012 세그멘테이션 벤치마크에서, 컬러 입력 기반으로 35.6% mIoU, 회색조 입력 기반으로 35.0% mIoU를 기록하여 다른 자기지도 학습 방법을 압도한다.
• 모델의 표현 학습 능력은 매우 뛰어나며, 이미지넷 사전 훈련을 거친 모델와 비교해도 컨벌루션 레이어 conv2에서 성능이 유사하거나 이를 초월한다.
• 훈련 데이터 분포와 다를 수 있는 실제 오래된 흑백 사진에 대해서도 잘 일반화되어 있으며, 맥락적으로 일관되고 타당한 컬러라이제이션 결과를 생성한다.