[논문 리뷰] Learning Representations for Automatic Colorization

Gustav Larsson, Michael Maire외 1명|arXiv (Cornell University)|2016. 03. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 96

한 줄 요약

이 논문은 사전 훈련된 VGG 네트워크에서 추출한 다중 수준의 의미적 특징을 활용하여 픽셀별 색상 히스토그램을 예측함으로써 완전 자동 이미지 색상화를 위한 딥러닝 프레임워크를 제안한다. 색상 분포를 모델링하고 엔드 투 엔드 훈련을 통해, 이미지넷 사전훈련 없이도 상태의 기술(SOTA) 성능을 달성하며, 자율학습을 위한 표현 학습 가능성도 높게 보여준다.

ABSTRACT

We develop a fully automatic image colorization system. Our approach leverages recent advances in deep networks, exploiting both low-level and semantic representations. As many scene elements naturally appear according to multimodal color distributions, we train our model to predict per-pixel color histograms. This intermediate output can be used to automatically generate a color image, or further manipulated prior to image formation. On both fully and partially automatic colorization tasks, we outperform existing methods. We also explore colorization as a vehicle for self-supervised visual representation learning.

연구 동기 및 목표

• 사용자 입력이나 참조 이미지 검색이 필요 없는 완전 자동 이미지 색상화 시스템을 개발하는 것.
• 단일 색상이 아닌 색상 분포를 모델링하여 복잡한 장면에서의 색상화 성능을 향상시키는 것.
• 색상화가 시각적 표현 학습을 위한 자율학습 전훈 목표로 기능할 수 있는지 탐색하는 것.
• 이미지넷 기반 기준 평가를 표준화하기 위해 이미지넷에 기반한 자동 색상화의 새로운 벤치마크를 수립하는 것.

제안 방법

• 회색조 이미지에서 다중 수준의 공간적으로 국소화된 특징(하이퍼컬럼)을 추출하기 위해 딥 컨volution 신경망(VGG)을 사용한다.
• 단일 색상 대신 픽셀별 색상 히스토그램(-tone 및 채도)을 예측함으로써 불확실성과 다중 모odal 색상 분포를 포착한다.
• 다양한 손실 함수를 사용하여 예측된 색상 히스토그램과 진짜 색상 히스토그램 간의 차이를 최소화하기 위해 엔드 투 엔드로 훈련한다.
• 추론 시에는 예측된 히스토그램에서 샘플링하여 색상 할당을 수행함으로써 창의적 제어와 불확실성 인식 결과를 가능하게 한다.
• 완전 자동 색상화와 글로벌 색상 히스토그램 사전 정보를 사용하는 부분 자동 설정을 모두 지원한다.
• 새로운 이미지넷 기반 색상화 벤치마크에서 평가되었으며, Pascal VOC 2012에서 자율학습 전훈을 테스트하였다.

실험 결과

연구 질문

• RQ1 플랙스별 색상 히스토그램을 예측하도록 훈련한 딥 네트워크가 단일 색상 예측보다 자동 이미지 색상화에서 더 우수한 성능을 내는가?
• RQ2 사전 훈련된 CNN에서 유도된 의미적 특징이 복잡하고 다양한 장면에서 색상화 품질을 크게 향상시킬 수 있는가?
• RQ3 이미지 색상화를 위해 랜덤 초기화에서부터 훈련한 네트워크가 의미 분할과 같은 후속 작업에 경쟁 가능한 시각적 표현을 제공하는가?
• RQ4 색상화가 이미지넷 분류 사전훈련에 의존도를 줄이는 효과적인 자율학습 전훈 목표로 기능할 수 있는가?

주요 결과

• 제안된 방법은 여러 데이터셋에서 완전 자동 및 부분 자동 색상화 작업 모두에서 최신 기술(SOTA) 성능을 달성하며, 참조 이미지나 수동 입력을 요구하는 이전 방법들을 능가한다.
• 새로운 이미지넷 기반 색상화 벤치마크에서, 참조 이미지 검색 없이도 RMSE, PSNR 및 시각적 품질 측면에서 뛰어난 성능을 기록하였다.
• 모호하거나 다중 모달 색상 분포를 가진 복잡한 장면에서도 미려한 결과를 생성하며, 일반적으로 발생하는 색상 번짐 및 비자연스러운 이동 등의 잡음 문제를 피한다.
• 랜덤 초기화에서부터 훈련한 색상화 네트워크는 Pascal VOC 2012 의미 분할 벤치마크에서 평균 교차율(mIU) 50.2%를 달성하여 랜덤 초기화보다 뚜렷이 뛰어나고, 감독 사전훈련에 근접하는 성능을 보였다.
• 색상화가 자율학습 전훈 목표로 강력할 수 있음을 입증하였으며, 랜덤 초기화와 감독 사전훈련 간의 성능 격차를 50% 이상 감소시켰다.
• 색상 히스토그램 예측의 사용은 불확실성 인식 샘플링과 후처리를 가능하게 하여 창의적 제어와 색상화의 강건성을 높였다.