[論文レビュー] UniColor: A Unified Framework for Multi-Modal Colorization with Transformer

Zhitong Huang, Nanxuan Zhao+1 more|arXiv (Cornell University)|Sep 22, 2022

Media, Gender, and Advertising被引用数 4

ひとこと要約

UniColorは、すべての条件を共通のヒントポイント表現に変換することで、無条件、スティック、エクジンプレ、テキスト、ハイブリッド制御をサポートする、マルチモーダル画像色分けのための最初の統合型Transformerベースのフレームワークを提案する。2段階のアーキテクチャであるChroma-VQGANとHybrid-Transformerを組み合わせることで、あらゆるモダリティにおいて多様性、品質、柔軟性の面で最先端のパフォーマンスを達成し、インタラクティブで反復的かつハイブリッドな色分け編集を可能にする。

ABSTRACT

We propose the first unified framework UniColor to support colorization in multiple modalities, including both unconditional and conditional ones, such as stroke, exemplar, text, and even a mix of them. Rather than learning a separate model for each type of condition, we introduce a two-stage colorization framework for incorporating various conditions into a single model. In the first stage, multi-modal conditions are converted into a common representation of hint points. Particularly, we propose a novel CLIP-based method to convert the text to hint points. In the second stage, we propose a Transformer-based network composed of Chroma-VQGAN and Hybrid-Transformer to generate diverse and high-quality colorization results conditioned on hint points. Both qualitative and quantitative comparisons demonstrate that our method outperforms state-of-the-art methods in every control modality and further enables multi-modal colorization that was not feasible before. Moreover, we design an interactive interface showing the effectiveness of our unified framework in practical usage, including automatic colorization, hybrid-control colorization, local recolorization, and iterative color editing. Our code and models are available at https://luckyhzt.github.io/unicolor.

研究の動機と目的

• スティック、テキスト、エクジンプレなどの多様なマルチモーダル色分け制御を1つのモデルですべてサポートする統合フレームワークの不足を解消すること。
• 単一モダリティの制御に限定され、モダリティ間で一般化できない既存手法の制限を克服すること。
• ハイブリッド制御、局所的再色分け、反復的編集を含む、柔軟でインタラクティブな色分けワークフローを可能にすること。
• ユーザーのガイドに従ったカスタマイズを可能にしつつ、生成された色分けの多様性と視覚的品質を維持すること。
• レガシーや現代の画像に対応する実用的でリアルタイムのユーザーインタラクションをサポートするシステムの設計。

提案手法

• スティック、エクジンプレ、テキストなどのマルチモーダル入力を、色と空間的位置を付加したヒントポイント（ピクセル）として統一された中間表現に変換する。
• テキスト記述された対象物の局所化と、テキスト埋め込みを画像領域に投影することで、対応するヒントポイントを生成するCLIPベースの手法を導入する。
• 2段階のフレームワークを採用：まずグレースケール画像と条件付きヒントポイントを符号化し、次にTransformerベースのネットワークで多様な色分けを生成する。
• コンテンツと色の表現を分離するために、別々のグレーおよびカラー符号化器と、共同デコーダーを持つChroma-VQGANを設計する。
• ヒントポイントと潜在トークンの間でクロスアテンションを実装し、マルチモーダルなヒントに条件付けられた色分けを実現するHybrid-Transformerを開発する。
• ユーザーが定義した領域内で色トークンをマスク・再サンプリングすることで、反復的編集と局所的再色分けを可能にする。

実験結果

リサーチクエスチョン

• RQ1 統合型ディープラーニングフレームワークは、1つのアーキテクチャ内でスティック、エクジンプレ、テキストなどの多様なマルチモーダル色分け制御を効果的にサポートできるか？
• RQ2 分布が異なる異なるモダリティ（例：疎なスティック vs. 疎でないエクジンプレ vs. 意味的なテキスト）を、共通で効果的な中間表現にマッピングする方法は何か？
• RQ3 Transformerベースの生成モデルは、異種のヒントポイントに条件付けられた状態でも、色分けの多様性と視覚的品質を高い水準で維持できるか？
• RQ4 統合フレームワークは、ハイブリッド制御、局所的再色分け、反復的編集といった実用的でインタラクティブなワークフローをサポートできるか？
• RQ5 マルチモーダル制御統合における失敗モードは何か？重複するヒントポイントなどの衝突は、どのように検出または解決できるか？

主な発見

• UniColorは、評価されたすべてのモダリティにおいて、無条件および条件付き色分けの両面で最先端の手法を上回り、優れた多様性と品質を示した。
• CLIPベースのテキストからヒントポイントへの変換手法は、テキスト記述された対象物を正確に局所化し、意味的に関連する色の手がかりを生成した。
• Chroma-VQGANとHybrid-Transformerを組み合わせた2段階フレームワークにより、複雑なハイブリッド制御下でも高精細で多様な色分け結果が得られた。
• インタラクティブシステムは、自動色分け、ハイブリッド制御編集、局所的再色分け、反復的最適化といった実用的ユースケースをサポートした。
• ユーザーが定義した領域に基づき、色分けのエンドツーエンド処理が可能であり、例えばジャケットを緑からオレンジに、バスをイエローから赤に変更するような操作が可能になった。
• 失敗事例として、予期しない色分け（例：緑の道路）や制御の衝突（例：赤と緑のヒントが重複）が観察され、サンプリング制約や衝突解決の面で改善の余地があることが示された。