[논문 리뷰] Control Color: Multimodal Diffusion-based Interactive Image Colorization

Zhexin Liang, Zhaochen Li외 3명|arXiv (Cornell University)|2024. 02. 16.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 사용자 지시 제어를 통해 높은 제어성과 상호작용을 가능하게 하는 다중모달 확산 기반 이미지 색상화 프레임워크인 CtrlColor를 제안한다. 기존의 Stable Diffusion 모델을 기반으로 하되, 텍스트 프롬프트, 사용자가 그린 선, 예시 이미지를 통합된 잠재 확산 프레임워크 내에서 조합하여 사용함으로써 색상의 풍부함, 정확도, 사용자 제어성에서 최신 기술 수준을 달성한다. 내용 기반 가변성 컨볼루션과 간소화된 자기주의 지도 기반 가이던스를 통해 색상 번지기와 잘못된 색상 렌더링을 크게 줄였다.

ABSTRACT

Despite the existence of numerous colorization methods, several limitations still exist, such as lack of user interaction, inflexibility in local colorization, unnatural color rendering, insufficient color variation, and color overflow. To solve these issues, we introduce Control Color (CtrlColor), a multi-modal colorization method that leverages the pre-trained Stable Diffusion (SD) model, offering promising capabilities in highly controllable interactive image colorization. While several diffusion-based methods have been proposed, supporting colorization in multiple modalities remains non-trivial. In this study, we aim to tackle both unconditional and conditional image colorization (text prompts, strokes, exemplars) and address color overflow and incorrect color within a unified framework. Specifically, we present an effective way to encode user strokes to enable precise local color manipulation and employ a practical way to constrain the color distribution similar to exemplars. Apart from accepting text prompts as conditions, these designs add versatility to our approach. We also introduce a novel module based on self-attention and a content-guided deformable autoencoder to address the long-standing issues of color overflow and inaccurate coloring. Extensive comparisons show that our model outperforms state-of-the-art image colorization methods both qualitatively and quantitatively.

연구 동기 및 목표

• 이미지 색상화의 핵심적 한계인 사용자 상호작용 부족, 유연하지 못한 국소 편집, 색상 번지기, 자연스럽지 못한 색상 렌더링 문제를 해결하기 위해.
• 무조건적, 텍스트 기반, 선 기반, 예시 기반 색상화를 하나의 확산 프레임워크 안에서 통합하여 더 큰 유연성과 일관성을 확보하기 위해.
• 백본 모델을 미세조정하지 않고도 내용 인식 지도 메커니즘을 통해 확산 기반 색상화에서 색상 번지기와 잘못된 색상 렌더링를 줄이기 위해.
• 선 기반 제어와 다중모달 조건부 조건을 통해 정밀하고 반복적이며 직관적인 국소 색상 편집을 가능하게 하기 위해.
• 종합적인 평가와 사용자 연구를 통해 기존 방법들과 비교해 뛰어난 시각적 품질과 사용자 만족도를 달성하기 위해.

제안 방법

• 기존의 Stable Diffusion 모델에 텍스트 프롬프트, 사용자가 그린 선, 예시 이미지를 다중모달 조건으로 통합하여 조건부 이미지 생성을 수행한다.
• 사용자 선을 힌트 포인트 맵과 유도된 이진 마스크를 통해 인코딩하여 잠재 공간 내에서 노이즈 제거 과정을 안내함으로써 정밀한 국소 색상 제어를 가능하게 한다.
• 생성된 색상이 입력 텍스처와 일치하도록 보장하기 위해 디코더에 내용 기반 가변성 오토에코더를 도입하여 색상 번지기를 줄이고 정확도를 향상시킨다.
• 추론 과정에서 간소화된 자기주의 지도 기반 가이던스를 적용하여 분포 외 영역의 주의 분포를 흐리게 하고 재생성함으로써 소규모 색상 번지기의 최소화를 달성한다.
• 모든 조건 조합(텍스트, 선, 예시)을 지원하는 통합 프레임워크를 활용하여 민첩하고 반복적인 편집이 가능하도록 한다.
• 미세조정 없이도 사전 훈련된 SD 모델의 풍부한 사전 지식을 활용하여 다양한, 현실적이며 색다른 출력물을 생성한다.

Figure 2 : Visual comparisons on stroke-based colorization.

실험 결과

연구 질문

• RQ1 통합된 확산 기반 프레임워크가 텍스트, 선, 예시 이미지 등 다양한 모odal을 효과적으로 지원하여 상호작용적 이미지 색상화를 가능하게 할 수 있는가?
• RQ2 백본 모델을 미세조정하지 않고도 확산 기반 색상화에서 색상 번지기와 잘못된 색상 렌더링를 줄일 수 있는 방법은 무엇인가?
• RQ3 사용자가 그린 선이 잠재 확산 환경에서 얼마나 정밀하고 국소적인 색상 제어를 가능하게 하는가?
• RQ4 예시 이미지의 통합이 생성된 출력물의 색상 분포 일관성과 현실감에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 정량적 지표와 사용자 평가 모두에서 기존 최신 기술 수준의 방법들을 능가하는가?

주요 결과

• CtrlColor는 FID(50~100개의 선을 사용할 경우 6.8830), PSNR(28.2699), SSIM(0.9926), LPIPS(0.0872)에서 최신 기술 수준의 성능을 달성하여 뛰어난 정확도와 재구성 정확도를 입증했다.
• 시각적 비교와 추론 분석을 통해 특히 가변성 오토에코더와 자기주의 지도 기반 가이던스를 사용할 경우 색상 번지기와 잘못된 색상 렌더링가 크게 줄어들었다.
• 사용자 연구 결과, CtrlColor는 DDColor, ToVivid, BigColor, UniColor보다 모든 네 가지 평가 항목(지각적 현실감, 색상의 풍부함, 미적 감각, 충실한 재구성)에서 뛰어난 성능을 보였다.
• 선의 수가 많아질수록 FID 점수가 감소함(8.8614에서 6.8830으로)하여 참값과의 일치도 향상되었지만, 모델의 사전 지식 사용이 줄어들어 색채의 풍부함은 약간 감소했다.
• 프롬프트 기반 색상화는 UniColor보다 CLIP 점수와 색채의 풍부함 점수에서 뛰어나 텍스트 기반 설명과의 강한 일치와 더 밝은 결과를 보였다.
• 예시 기반 색상화는 기준 이미지의 색상 분포를 성공적으로 유지하면서도 객체 간의 시각적 일관성과 현실감을 유지했다.

Figure 3 : Left : The main structure of our CtrlColor Model achieves multi-modal controllable colorization by blending controls from diverse components. Right : To manage large color overflow and inaccurate color regions, we integrate content-guided deformable convolution layers into the autoencoder