[論文レビュー] Control Color: Multimodal Diffusion-based Interactive Image Colorization

Zhexin Liang, Zhaochen Li+3 more|arXiv (Cornell University)|Feb 16, 2024

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、ユーザーによる制御を組み込んだマルチモーダルな拡散型画像色分けフレームワーク「CtrlColor」を提案する。Stable Diffusionをベースに、テキストプロンプト、ユーザーが描いたストローク、および例示画像を統合的に用いることで、高精度でインタラクティブな色分けを実現する。統合された潜在拡散フレームワーク内に、テキストプロンプト、ユーザーによるストローク、および例示画像を統合することで、色の豊かさ、忠実度、ユーザー制御性において最先端の性能を達成し、コンテンツに適応した可変型畳み込みと簡素化された自己注意誘導により、色の過剰拡散や誤色付けを顕著に低減する。

ABSTRACT

Despite the existence of numerous colorization methods, several limitations still exist, such as lack of user interaction, inflexibility in local colorization, unnatural color rendering, insufficient color variation, and color overflow. To solve these issues, we introduce Control Color (CtrlColor), a multi-modal colorization method that leverages the pre-trained Stable Diffusion (SD) model, offering promising capabilities in highly controllable interactive image colorization. While several diffusion-based methods have been proposed, supporting colorization in multiple modalities remains non-trivial. In this study, we aim to tackle both unconditional and conditional image colorization (text prompts, strokes, exemplars) and address color overflow and incorrect color within a unified framework. Specifically, we present an effective way to encode user strokes to enable precise local color manipulation and employ a practical way to constrain the color distribution similar to exemplars. Apart from accepting text prompts as conditions, these designs add versatility to our approach. We also introduce a novel module based on self-attention and a content-guided deformable autoencoder to address the long-standing issues of color overflow and inaccurate coloring. Extensive comparisons show that our model outperforms state-of-the-art image colorization methods both qualitatively and quantitatively.

研究の動機と目的

• 画像色分けにおける主な限界、すなわちユーザーとのインタラクションの欠如、局所的編集の不柔軟性、色の過剰拡散、不自然な色再現の問題を解決すること。
• 無条件、テキストベース、ストロークベース、例示ベースの色分けを統合的に1つの拡散フレームワークで統一し、柔軟性と一貫性を高めること。
• バックボーンモデルの微調整を伴わずに、コンテンツに適応した誘導メカニズムを用いて、拡散型色分けにおける色の過剰拡散と誤色付けを低減すること。
• ストロークベースの制御とマルチモーダルな条件付けにより、正確で反復的かつ直感的な局所的色編集を可能にすること。
• 包括的な評価とユーザー研究を通じて、従来手法と比較して優れた視覚的品質とユーザー満足度を達成すること。

提案手法

• 事前学習済みのStable Diffusionモデルに、テキストプロンプト、ユーザーが描いたストローク、および例示画像をマルチモーダルな条件として統合し、条件付き画像生成を実現する。
• ユーザーのストロークをヒントポイントマップと導出されたバイナリマスクで符号化し、潜在空間におけるノイズ除去をガイドすることで、正確な局所的色制御を実現する。
• 生成色が入力テクスチャと整合するように、デコーダーにコンテンツに適応した可変型自己符号化器を導入し、色の過剰拡散を低減するとともに忠実度を向上させる。
• 推論段階で簡素化された自己注意誘導を適用し、分布外の領域のぼやけと再生成を促進することで、微小スケールの色の漏れを最小限に抑える。
• テキスト、ストローク、例示画像のすべての組み合わせをサポートする統一されたフレームワークを採用し、柔軟で反復的な編集を可能にする。
• 事前学習済みのSDモデルが持つ豊富な事前知識を活用し、微調整を伴わず多様で現実的で色あざやかな出力を生成する。

Figure 2 : Visual comparisons on stroke-based colorization.

実験結果

リサーチクエスチョン

• RQ1 統一された拡散型フレームワークは、テキスト、ストローク、例示画像といった複数のモodalを効果的に統合し、インタラクティブな画像色分けを実現できるか？
• RQ2 バックボーンモデルの微調整を伴わず、どのようにして拡散型色分けにおける色の過剰拡散と誤色付けを低減できるか？
• RQ3 ユーザーが描いたストロークは、潜在拡散設定においてどれほど正確で局所的な色制御を可能にするか？
• RQ4 例示画像の統合は、生成出力における色分布の一貫性とリアルさにどのように影響を与えるか？
• RQ5 提案手法は、定量的指標と人間評価の両面で、既存の最先端手法を上回る性能を示すか？

主な発見

• CtrlColorは、FID（50〜100本のストロークで6.8830）、PSNR（28.2699）、SSIM（0.9926）、LPIPS（0.0872）において最先端の性能を達成し、優れた忠実度と再構成精度を示している。
• 視覚的比較とアブレーションスタディの結果、特に可変型自己符号化器と自己注意誘導の導入により、色の過剰拡散と誤色付けが顕著に低減されていることが示された。
• ユーザー研究の結果、CtrlColorはDDColor、ToVivid、BigColor、UniColorをすべての評価項目（知覚的リアリズム、色の豊かさ、美的感覚、忠実な再構成）で上回った。
• ストロークの数が増えるにつれてFIDスコアは低下（8.8614から6.8830に）し、正解に近づく傾向を示したが、モデルの事前知識の使用が減少したため、彩度はわずかに低下した。
• プロンプトベースの色分けは、UniColorよりもCLIPスコアと彩度スコアが高く、テキスト記述との整合性が強く、より鮮やかな結果を得られた。
• 例示ベースの色分けは、参照画像の色分布を効果的に保持するとともに、物体間の一貫性と視覚的リアリズムを維持した。

Figure 3 : Left : The main structure of our CtrlColor Model achieves multi-modal controllable colorization by blending controls from diverse components. Right : To manage large color overflow and inaccurate color regions, we integrate content-guided deformable convolution layers into the autoencoder