[논문 리뷰] DiffColor: Toward High Fidelity Text-Guided Image Colorization with Diffusion Models

Jianxin Lin, Peng Xiao외 3명|arXiv (Cornell University)|2023. 08. 03.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

DiffColor는 사전 훈련된 텍스트-이미지 모델과 CLIP 기반의 대비 손실을 활용하여 추가 입력 없이도 고해상도, 텍스트 유도형 이미지 색상화를 구현하는 이단계적 확산 모델 프레임워크를 제안한다. 이는 생생하고 다양한 색상과 의미적으로 일치하는 결과를 생성한다. 문맥 기반 색상화와 개체 수준의 제어를 가능하게 하며, 텍스트 임bedding 최적화 및 공간 정렬을 통해 기존 방법을 능가하는 시각적 품질, 색상 충실도, 다양성을 확보한다.

ABSTRACT

Recent data-driven image colorization methods have enabled automatic or reference-based colorization, while still suffering from unsatisfactory and inaccurate object-level color control. To address these issues, we propose a new method called DiffColor that leverages the power of pre-trained diffusion models to recover vivid colors conditioned on a prompt text, without any additional inputs. DiffColor mainly contains two stages: colorization with generative color prior and in-context controllable colorization. Specifically, we first fine-tune a pre-trained text-to-image model to generate colorized images using a CLIP-based contrastive loss. Then we try to obtain an optimized text embedding aligning the colorized image and the text prompt, and a fine-tuned diffusion model enabling high-quality image reconstruction. Our method can produce vivid and diverse colors with a few iterations, and keep the structure and background intact while having colors well-aligned with the target language guidance. Moreover, our method allows for in-context colorization, i.e., producing different colorization results by modifying prompt texts without any fine-tuning, and can achieve object-level controllable colorization results. Extensive experiments and user studies demonstrate that DiffColor outperforms previous works in terms of visual quality, color fidelity, and diversity of colorization options.

연구 동기 및 목표

• 기존의 전통적 또는 기준 기반 이미지 색상화 방식이 흐리거나 일관성 없거나 모호한 색상을 생성하는 데서 비롯되는 한계를 해결하기 위해.
• 사용자가 스크래치나 기준 이미지를 제공하지 않아도 자연어 프롬프트만으로 정밀하고 다양한 생생한 색상화를 가능하게 하기 위해.
• 재훈련이나 미세조정 없이도 프롬프트만을 수정하여 다른 색상 결과를 생성하는 문맥 기반 색상화를 실현하기 위해.
• 특정 이미지 영역과 일치하도록 텍스트 임베딩을 최적화하여 개체 수준의 제어 가능한 색상화를 지원하기 위해.
• 색상 의미를 이미지에 정확히 전달하면서도 구조적 및 배경의 무결성을 유지하기 위해.

제안 방법

• 색상화된 이미지와 해당 텍스트 프롬프트를 양성 쌍으로 간주하고, 관련이 없는 반대 색상 텍스트를 부정 쌍으로 간주하는 CLIP 기반의 대비 손실을 사용하여 사전 훈련된 텍스트-이미지 확산 모델을 미세조정한다.
• 추론 중에 텍스트 임베딩을 최적화하여 생성된 색상화된 이미지가 목표 프롬프트와 일치하도록 하여, 재훈련 없이도 문맥 기반 색상화를 가능하게 한다.
• CoCosNet를 사용한 공간 정렬 모듈을 적용하여 입력 흑백 이미지의 구조적 세부 정보를 확산 모델의 출력으로 전달함으로써 이미지 레이아웃과 세부 사항을 유지한다.
• 이중 단계 파이프라인을 활용: 첫 번째 단계에서는 대비 미세조정을 통한 생성적 색상 우선순위를 통해 초도 색상화를 생성하고, 두 번째 단계에서는 최적화된 텍스트 임베딩과 고품질 재구성으로 결과를 보완한다.
• 효율적이고 고해상도의 이미지 생성을 위해 DDIM 기반 샘플링을 활용하여 거의 완벽한 역전환과 빠른 추론을 가능하게 한다.
• 콘텐츠와 색상 가이드를 균형 잡는 데 사용하는 보간 파라미터 η를 도입하여, 모호하거나 정확도가 떨어지는 프롬프트 상황에서도 탄력적인 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 추가 입력 없이도 텍스트 프롬프트 하나만으로도 사전 훈련된 확산 모델이 고해상도, 다양성, 의미적으로 정확한 색상화를 생성할 수 있는가?
• RQ2 재훈련이나 미세조정 없이도 프롬프트만을 수정하여 다른 색상 결과를 생성하는 문맥 기반 색상화를 실현할 수 있는가?
• RQ3 특정 이미지 영역과 일치하도록 텍스트 임베딩을 정렬함으로써 개체 수준의 제어 가능한 색상화를 실현할 수 있는가?
• RQ4 공간 정렬 모듈이 확산 모델에서 색상 전달을 하면서도 구조적 세부 정보를 얼마나 잘 유지하는가?
• RQ5 기본 색상화 방법과 비교했을 때 대비 손실이 색상 충실도와 다양성 향상에 얼마나 효과적인가?

주요 결과

• 사용자 연구에서 DiffColor는 이미지 품질과 의미 일관성 측면에서 이전 최고 수준의 방법들을 능가하는 최고의 점수를 기록했다.
• 제거 분석 결과, 공간 정렬은 첫 번째 단계에서 PSNR를 21.13에서 29.83으로, SSIM을 0.7643에서 0.9063으로 향상시켜 구조적 유지 능력을 크게 향상시켰다.
• CLIP 기반의 양성/부정 쌍을 사용한 대비 손실은 색상 출력을 현실적인 색상 공간 내에 제한하고 색상 충실도를 향상시키는 데 효과적이다.
• 두 번째 단계는 실제 색상 이미지에 적용되었을 때, 이중 단계 파이프라인과는 독립적으로 의미 기반 색상 편집 도구로서의 유연성을 보였다.
• 보간 파라미터 η는 사용자가 모호하거나 정확도가 떨어지는 프롬프트 상황에서도 색상 변형을 탐색할 수 있도록 탄력적인 제어를 가능하게 한다.
• 사용자 연구 결과, DiffColor는 특히 색상이 모호한 복잡한 장면에서 기존 방법보다 더 생생하고 색다르며 의미적으로 일관된 결과를 생성함을 확인했다.