[논문 리뷰] DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders

Xiaoyang Kang, Tao Yang외 4명|arXiv (Cornell University)|2022. 12. 22.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

DDColor는 수작업으로 정의된 사전 지식 없이 다중 척도 특징에서 의미 지향적인 색상 쿼리를 학습하는 쿼리 기반 트랜스포머 디코더와 공간 복원을 위한 픽셀 디코더를 사용하는 종단 간 이미지 색상화 방법을 제안한다. 이 설계는 색상 번짐을 크게 감소시키고 색상의 풍부함을 향상시켜 ImageNet, COCO-Stuff, ADE20k에서 최고의 정량적·정성적 성능을 달성한다.

ABSTRACT

Image colorization is a challenging problem due to multi-modal uncertainty and high ill-posedness. Directly training a deep neural network usually leads to incorrect semantic colors and low color richness. While transformer-based methods can deliver better results, they often rely on manually designed priors, suffer from poor generalization ability, and introduce color bleeding effects. To address these issues, we propose DDColor, an end-to-end method with dual decoders for image colorization. Our approach includes a pixel decoder and a query-based color decoder. The former restores the spatial resolution of the image, while the latter utilizes rich visual features to refine color queries, thus avoiding hand-crafted priors. Our two decoders work together to establish correlations between color and multi-scale semantic representations via cross-attention, significantly alleviating the color bleeding effect. Additionally, a simple yet effective colorfulness loss is introduced to enhance the color richness. Extensive experiments demonstrate that DDColor achieves superior performance to existing state-of-the-art works both quantitatively and qualitatively. The codes and models are publicly available at https://github.com/piddnad/DDColor.

연구 동기 및 목표

• 딥 러닝 기반 방법에서의 다중 모odal 불확실성과 의미적 일관성 문제를 해결하기 위해, 이미지 색상화의 불안정한 성격을 다루는 것.
• 수작업으로 설계된 사전 지식에 의존하거나 일반화 능력이 떨어지거나 복잡한 환경에서 색상 번짐을 보이는 기존 트랜스포머 기반 방법의 한계를 극복하는 것.
• 사용자 지시나 외부 사전 지식 없이도 자동 이미지 색상화에서 색상의 풍부함과 의미 일관성을 향상시키는 것.
• 공간 세부 정보와 의미 지향적인 색상 표현을 동시에 최적화하는 종단 간 프레임워크를 개발하는 것.

제안 방법

• 이 방법은 이중 디코더 아키텍처를 사용한다: 픽셀 디코더는 고해상도 공간 특징을 복원하고, 쿼리 기반 색상 디코더는 크로스 어텐션을 사용해 다중 척도 시각 특징에서 색상 임베딩을 학습한다.
• 색상 디코더는 다중 척도 이미지 특징에 주목하기 위해 학습 가능한 쿼리를 사용하며, 이는 수작업으로 정의된 사전 지식 없이 의미 지향적인 색상 표현 학습을 가능하게 한다.
• 크로스 어텐션 메커니즘은 의미 특징과 색상 쿼리 간의 동적 상관관계를 형성하여 색상 번짐을 감소시키고 맥락 인식 색상화를 향상시킨다.
• 생성된 색상 출력의 화사함과 풍부함을 명시적으로 향상시키기 위해 새로운 색상 빈도 손실을 도입한다.
• 최종 색상화 결과는 두 디코더의 출력을 융합하여 생성되며, 최종 이미지는 예측된 AB 채널과 입력된 L 채널을 연결하여 형성된다.
• 모델은 인지적 손실과 색상 빈도 손실을 사용해 종단 간으로 훈련되며, 추론 분석을 통해 구성 요소의 중요성을 검증한다.

실험 결과

연구 질문

• RQ1 학습 가능한 색상 쿼리를 갖춘 이중 디코더 아키텍처가 이미지 색상화에서 의미 일관성을 향상시키고 색상 번짐을 줄일 수 있는가?
• RQ2 색상 디코더에서 다중 척도 특징을 사용할 경우, 작은 또는 다양한 물체가 포함된 복잡한 환경에서 성능에 어떤 영향을 미치는가?
• RQ3 학습 가능한 종단 간 색상 디코더가 이미지 색상화에서 수작업으로 설계된 사전 지식을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 전용 색상 빈도 손실이 생성된 색상화의 시각적 풍부함을 크게 향상시키는가?
• RQ5 이상적인 미세조정 없이도 제안된 방법이 ImageNet 외의 데이터셋, 예를 들어 COCO-Stuff와 ADE20k에 얼마나 잘 일반화되는가?

주요 결과

• DDColor는 ImageNet에서 FID 점수 3.92를 기록하여 이전 최고 성능 방법들을 초월하며, 분류 기반 색상 공간 이산화를 사용한 방법들 역시 포함해 최고 성능을 달성했다.
• 100개의 색상 쿼리를 가진 모델에서 최적의 성능을 기록하여 FID를 3.92로 낮추고 색상 빈도도 38.26으로 높였으며, ΔCF에서의 열화도 최소화되었다.
• 추론 분석 결과, 색상 디코더의 크로스 어텐션과 자체 어텐션 레이어가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 크게 떨어졌다.
• 다중 척도 특징을 사용하는 전체 모델은 눈에 띄는 색상 번짐을 제거하고 윤곽 정확도를 향상시키지만, 단일 척도 버전은 물체 경계에서 뚜렷한 아티팩트를 보였다.
• COCO-Stuff와 ADE20k에서도 미세조정 없이 모든 베이스라인 중 최고의 성능을 기록하여 강력한 일반화 능력을 입증했다.
• 색상 쿼리의 시각화 결과 각 쿼리가 특정 의미 영역(예: 털, 피부, 잔디)에 특화되어 있음을 확인하였으며, 이는 의미 관련성과 국소적 색상 학습을 뒷받침한다.