[論文レビュー] Joint Intensity-Gradient Guided Generative Modeling for Colorization

Kai Hong, Jin Li+5 more|arXiv (Cornell University)|Dec 28, 2020

Generative Adversarial Networks and Image Synthesis参考文献 59被引用数 5

ひとこと要約

この論文は、色再現品質を向上させるために強度と勾配情報を併用する、連合的強度勾配ガイド付き生成モデルを提案する。高次元の強度勾配テンソル上でノイズ条件付きスコアネットワークを学習させ、連合データ適合制約を課すことにより、エッジの色オーバーフローを低減し、定量的指標およびユーザースタディーの両面で最先端の性能を達成する。

ABSTRACT

This paper proposes an iterative generative model for solving the automatic colorization problem. Although previous researches have shown the capability to generate plausible color, the edge color overflow and the requirement of the reference images still exist. The starting point of the unsupervised learning in this study is the observation that the gradient map possesses latent information of the image. Therefore, the inference process of the generative modeling is conducted in joint intensity-gradient domain. Specifically, a set of intensity-gradient formed high-dimensional tensors, as the network input, are used to train a powerful noise conditional score network at the training phase. Furthermore, the joint intensity-gradient constraint in data-fidelity term is proposed to limit the degree of freedom within generative model at the iterative colorization stage, and it is conducive to edge-preserving. Extensive experiments demonstrated that the system outperformed state-of-the-art methods whether in quantitative comparisons or user study.

研究の動機と目的

• 自動画像色再現における継続的な課題、特にエッジの色オーバーフローとリファレンス画像への依存を解決すること。
• 勾配マップに隠れた情報を活用して、教師なしの方法で生成モデルをガイドすること。
• 生成過程で強度と勾配特徴を連合的にモデリングすることで、エッジの保存と色の正確性を向上させること。
• モデルの自由度を制限しながら構造的詳細を保持するためのデータ適合制約を開発すること。
• リファレンス画像を必要とせず、既存手法を上回る性能を達成すること。

提案手法

• 生成モデルの入力として、強度マップと勾配マップから構成される高次元テンソルを用いる。
• これらの連合的強度勾配特徴上でノイズ条件付きスコアネットワークを学習させ、データ分布をモデル化する。
• 反復的色再現をガイドしエッジを保存するために、データ適合項に連合的強度勾配制約を導入する。
• 反復的色再現プロセスは、学習されたスコアネットワークを活用して段階的に妥当な色再現結果を生成する。
• 教師なしで動作するため、ペア化されたリファレンス画像を必要としない。
• 連合的強度勾配空間上でノイズ除去スコアマッチング目的関数を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 リファレンス画像を必要とせずに、勾配マップが十分な構造的ガイドを提供できるか？
• RQ2 強度と勾配特徴の連合モデリングが、生成的色再現におけるエッジ保存に与える影響は何か？
• RQ3 連合データ適合制約を備えたスコアベース生成モデルは、エッジの色オーバーフローを低減できるか？
• RQ4 提案手法は定量的および定性的な評価の両面で、既存の最先端手法を上回る性能を示せるか？
• RQ5 連合的強度勾配表現は、生成モデルの能力をどの程度向上させるか？

主な発見

• 定量的ベンチマークにおいて、提案手法は最先端手法を上回り、色再現品質に優れた性能を示した。
• ユーザースタディーの結果、他のアプローチと比較して生成された色がより現実的で視覚的に好まれることが確認された。
• 連合的強度勾配制約により、エッジの色オーバーフローが顕著に低減され、出力では明確な境界が保持された。
• リファレンス画像を一切必要としないため、完全に教師なしの色再現が実現された。
• 広範なアブレーションスタディーにより、連合モデリングおよびデータ適合制約の有効性が検証された。
• 多様な画像カテゴリーや複雑なテクスチャに対しても、本手法は頑健な性能を示した。