[論文レビュー] DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders

Xiaoyang Kang, Tao Yang+4 more|arXiv (Cornell University)|Dec 22, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

DDColorは、空間再構成用のピクセルデコーダーと、手動で設計された事前知識を用いずに多スケール特徴からセマンティックに注意を向ける色クエリを学習するクエリベースのトランスフォーマーデコーダーを備えた、エンドツーエンドの画像色再現手法を提案する。この設計により、色の漏れが著しく軽減され、色の豊かさが向上し、ImageNet、COCO-Stuff、ADE20kの各データセットで最先端の性能を達成し、定量的・定性的に優れた結果を示した。

ABSTRACT

Image colorization is a challenging problem due to multi-modal uncertainty and high ill-posedness. Directly training a deep neural network usually leads to incorrect semantic colors and low color richness. While transformer-based methods can deliver better results, they often rely on manually designed priors, suffer from poor generalization ability, and introduce color bleeding effects. To address these issues, we propose DDColor, an end-to-end method with dual decoders for image colorization. Our approach includes a pixel decoder and a query-based color decoder. The former restores the spatial resolution of the image, while the latter utilizes rich visual features to refine color queries, thus avoiding hand-crafted priors. Our two decoders work together to establish correlations between color and multi-scale semantic representations via cross-attention, significantly alleviating the color bleeding effect. Additionally, a simple yet effective colorfulness loss is introduced to enhance the color richness. Extensive experiments demonstrate that DDColor achieves superior performance to existing state-of-the-art works both quantitatively and qualitatively. The codes and models are publicly available at https://github.com/piddnad/DDColor.

研究の動機と目的

• 深層学習ベースの手法における、多値モードの不確実性とセマンティックの不整合性を抱える、画像色再現の不適切な定式化に対処すること。
• 手動で設計された事前知識に依存し、一般化性能が低い、または複雑なシーンで色の漏れを示す、先行のトランスフォーマーベース手法の限界を克服すること。
• ユーザーのガイドや外部事前知識なしに、色の豊かさとセマンティックの一貫性を向上させること。
• 空間的詳細とセマンティックに注意を向ける色表現を同時に最適化するエンドツーエンドのフレームワークを開発すること。

提案手法

• 本手法は二重デコーダー構造を採用する：ピクセルデコーダーは高分解能の空間特徴を再構成し、クエリベースの色デコーダーはクロスアテンションを用いて多スケールの視覚的特徴から色埋め込みを学習する。
• 色デコーダーは学習可能なクエリを用い、多スケールの画像特徴に注目することで、手動で設計された事前知識を一切用いずに、セマンティックに注意を向ける色表現の学習を可能にする。
• クロスアテンション機構により、セマンティック特徴と色クエリの間で動的な相関関係を確立し、色の漏れを低減し、文脈に適した色再現を向上させる。
• 生成された色出力の鮮やかさと豊かさを明示的に向上させるために、新しい彩度損失を導入する。
• 最終的な色再現結果は、両デコーダーの出力を統合することで得られ、最終的な画像は入力のLチャンネルと予測されたABチャンネルを連結することで形成される。
• 知覚損失と彩度損失を用いてエンドツーエンドでモデルを訓練し、アブレーションスタディにより各構成要素の重要性を検証した。

実験結果

リサーチクエスチョン

• RQ1 学習可能な色クエリを備えた二重デコーダー構造は、画像色再現におけるセマンティックの一貫性を向上させるとともに、色の漏れを低減できるか？
• RQ2 色デコーダーにおける多スケール特徴の使用は、小さな物体や多様な物体が存在する複雑なシーンでの性能にどのように影響を与えるか？
• RQ3 学習可能なエンドツーエンド色デコーダーは、画像色再現において、どの程度手動で設計された事前知識を置き換えることができるか？
• RQ4 専用の彩度損失は、生成された色再現の視覚的豊かさを顕著に向上させるか？
• RQ5 微調整なしに、ImageNet以外のデータセット、例えばCOCO-StuffやADE20kに対しても、提案手法はどの程度一般化性能を示すか？

主な発見

• DDColorはImageNetでFIDスコア3.92を達成し、分類ベースの色空間離散化を用いた先行手法を上回る最先端の性能を示した。
• 100個の色クエリを用いたモデルが最適な性能を発揮し、FIDを3.92に低下させるとともに、彩度（CF）を38.26に向上させ、ΔCFの低下は最小限に抑えられた。
• アブレーションスタディの結果、色デコーダー内のクロスアテンションおよび自己アテンション層が両方とも不可欠であることが確認され、いずれかを削除すると性能が著しく低下した。
• 多スケール特徴を用いた完全なモデルは、目立つ色の漏れを排除し、エッジの正確性を向上させたが、単一スケールのバージョンでは物体境界に顕著なアーチファクトが見られた。
• COCO-StuffおよびADE20kでも、微調整なしにすべてのベースライン手法を上回る性能を達成し、強力な一般化能力を示した。
• 色クエリの可視化結果から、各クエリが特定のセマンティック領域（例：毛布、肌、芝生）に特化していることが確認され、セマンティックの関連性と局所的な色学習が実現していることが示された。