[논문 리뷰] Color2Embed: Fast Exemplar-Based Image Colorization using Color Embeddings

Hengyuan Zhao, Wenhao Wu외 2명|arXiv (Cornell University)|2021. 06. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 12

한 줄 요약

Color2Embed는 자기강화 자기기반 학습과 학습된 색상 임베딩을 사용하여 빠르고 가벼운 예시 기반 이미지 색상화 방법을 제안한다. 얇은 판 스퍼링 변환을 통해 합성된 기준 이미지를 생성하고, 점진적인 특징 형식화 네트워크를 통해 색상 임베딩을 주입함으로써, 1024×1024 이미지에서 0.32초 이내의 추론 속도로 최신 기술 수준의 시각적 품질을 달성하며, 이전 방법들에 비해 속도와 아티팩트 감소 면에서 뛰어나다.

ABSTRACT

In this paper, we present a fast exemplar-based image colorization approach using color embeddings named Color2Embed. Generally, due to the difficulty of obtaining input and ground truth image pairs, it is hard to train a exemplar-based colorization model with unsupervised and unpaired training manner. Current algorithms usually strive to achieve two procedures: i) retrieving a large number of reference images with high similarity for preparing training dataset, which is inevitably time-consuming and tedious; ii) designing complicated modules to transfer the colors of the reference image to the target image, by calculating and leveraging the deep semantic correspondence between them (e.g., non-local operation), which is computationally expensive during testing. Contrary to the previous methods, we adopt a self-augmented self-reference learning scheme, where the reference image is generated by graphical transformations from the original colorful one whereby the training can be formulated in a paired manner. Second, in order to reduce the process time, our method explicitly extracts the color embeddings and exploits a progressive style feature Transformation network, which injects the color embeddings into the reconstruction of the final image. Such design is much more lightweight and intelligible, achieving appealing performance with fast processing speed.

연구 동기 및 목표

• 외부 데이터셋이 없는 예시 기반 색상화 모델을 훈련하는 과제를 해결하기 위해, 자기강화를 통해 쌍화된 훈련 파라다임을 가능하게 한다.
• 추론 시 비용이 많이 드는 기준 이미지 검색과 복잡한 대응 계산이 필요 없도록 한다.
• 실시간 처리를 가능하게 하면서도 높은 시각적 정밀도를 유지하는 경량이고 효율적인 아키텍처를 개발한다.
• 복잡한 손실 함수에 대한 의존도를 줄이기 위해, 안정적인 훈련을 위해 픽셀 단위 재구성 손실과 인지적 손실 외에는 사용하지 않는다.
• 색상 오염이나 아티팩트를 유발하지 않으면서도 다양한 기준 이미지에 대해 강건한 색상화를 가능하게 한다.

제안 방법

• 단일 입력 색상 이미지에서 얇은 판 스퍼링(Thin-Plate Spline, TPS) 변환을 사용해 다수의 자기기반 기준 이미지를 생성함으로써, 외부 데이터셋이 없더라도 쌍화된 지도 학습이 가능하도록 한다.
• 기준 이미지 특징에서 고차원 색상 임베딩을 추출하기 위해 다층 퍼셉트론(Multi-Layer Perceptron, MLP)을 활용하며, 이는 전반적인 색상 통계를 포착한다.
• 전용 콘텐츠 인코더 네트워크를 사용해 입력 Grayscale 이미지를 깊이 있는 콘텐츠 임베딩으로 인코딩한다.
• 점진적인 특징 형식화 블록(Progressive Feature Formalisation Blocks, PFFB)을 포함한 점진적 특징 형식화 네트워크(Progressive Feature Formalisation Network, PFFN)를 도입하여 색상 임베딩을 점진적으로 콘텐츠 특징에 주입한다.
• 모델을 효율적이고 안정적으로 훈련시키기 위해 픽셀 단위 재구성 손실과 인지적 손실의 두 가지 손실 함수만을 활용한다.
• 비국소 연산과 대응 맵 계산을 피함으로써, 추론 시간과 계산 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 자기강화 자기기반 학습은 외부 기준 데이터베이스 없이도 효과적인 예시 기반 색상화 훈련을 가능하게 할 수 있는가?
• RQ2 변환된 기준 이미지에서 추출한 색상 임베딩은 복잡한 대응 모델링 없이도 그레이스케일 입력에 색상을 효과적으로 전달할 수 있는가?
• RQ3 최소한의 손실 함수를 사용하는 경량 아키텍처는 실시간 추론을 가능하게 하면서도 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 기존의 예시 기반 색상화 접근법과 비교해 본다면, 제안된 방법은 속도와 시각적 품질 면에서 어떻게 성과를 내는가?
• RQ5 색상 오염이나 아티팩트 없이 다양한 기준 이미지에 대해 모델이 강건하게 일반화될 수 있는가?

주요 결과

• Color2Embed는 256×256, 512×512, 1024×1024 해상도 이미지에 대해 각각 0.03초, 0.08초, 0.32초의 추론 시간을 기록하며, He et al. [12]와 Lu et al. [29]와 같은 이전 방법들보다 빠르고 확장성 면에서 뛰어나다.
• 절삭 실험을 통해 자기강화 자기기반 학습이 색상 오염을 방지함을 확인하였으며, 그림 8에서 볼 수 있듯이, 보정이 없는 모델은 심각한 아티팩트를 유발한다.
• 재구성 손실과 인지적 손실만을 사용할 경우, 복잡한 손실 조합을 사용한 모델보다 열등한 결과를 내는 것이 아니라 오히려 뛰어난 성능을 내며, 그림 10에서 볼 수 있듯이 단일 손실 모델은 잘못되거나 일관되지 않은 색상을 생성한다.
• 정성적 비교를 통해 Color2Embed는 [12]와 [29]보다 색상 오염을 피하고 더 자연스러운 결과를 생성함을 보여주며, 국소 영역에서 특히 두드러진다.
• 다양한 기준 이미지에 대해 강건한 성능을 보이며, 그림 9에서 볼 수 있듯이, 다양한 기준 이미지가 일관되고 스타일에 적합한 색상화를 생성한다.
• 실제 오래된 사진에 대해 최신 기술 수준의 시각적 품질을 달성하며, 최소한의 아티팩트와 정확한 색상 전달을 보였다(그림 7 및 그림 9).