[論文レビュー] Learning Diverse Image Colorization

Aditya Deshpande, Jiajun Lu+3 more|arXiv (Cornell University)|Dec 6, 2016

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 8

ひとこと要約

本稿では、変分オートエンコーダー（VAE）を用いて色フィールドの低次元潜在埋め込みを学習し、入力グレースケール特徴量と潜在コード間の多モード的条件付き分布をモデル化することで、単一のグレースケール画像に対して多様で現実的な色付けを生成する手法を提案する。この手法は、標準のCVAEおよびcGANベースラインと比較して、多様性、空間的整合性、および知覚的品質に優れた色付けを実現する。

ABSTRACT

Colorization is an ambiguous problem, with multiple viable colorizations for a single grey-level image. However, previous methods only produce the single most probable colorization. Our goal is to model the diversity intrinsic to the problem of colorization and produce multiple colorizations that display long-scale spatial co-ordination. We learn a low dimensional embedding of color fields using a variational autoencoder (VAE). We construct loss terms for the VAE decoder that avoid blurry outputs and take into account the uneven distribution of pixel colors. Finally, we build a conditional model for the multi-modal distribution between grey-level image and the color field embeddings. Samples from this conditional model result in diverse colorization. We demonstrate that our method obtains better diverse colorizations than a standard conditional variational autoencoder (CVAE) model, as well as a recently proposed conditional generative adversarial network (cGAN).

研究の動機と目的

• 単一のグレースケール入力に対して複数の現実的で多様な色付けを生成することで、画像色付けにおける本質的曖昧性に対処すること。
• 独立した画素単位のサンプリングによって生じるノイズ（スペッケルノイズ）を回避するため、色フィールドにおける長距離の空間的整合性をモデル化すること。
• 空間的構造を保持し、高精度な復元を可能にする、滑らかで低次元の潜在表現を学習すること。
• グレースケール特徴量から多様な色付けモードを捉える多モード的条件付きモデル $P(\mathbf{z}|\mathbf{G})$ を構築すること。
• CVAEやcGANといった既存手法を改善し、より多様で知覚的に自然な色付けを生成すること。

提案手法

• 色フィールド $\mathbf{C}$ を低次元潜在コード $\mathbf{z}$ にエンコードするための変分オートエンコーダー（VAE）を訓練し、ぼんやりとした出力を軽減し、再構成精度を向上させるためにカスタムのデコーダー損失を導入する。
• 不均衡な画素色分布に対処し、鮮やかさを保持するため、特徴的損失と彩度加重L1損失をVAEに組み込む。
• グレースケール画像特徴量 $\mathbf{G}$ は、事前に訓練された色付けCNNのconv-7層から抽出され、空間的および色の類似性情報を保持する。
• 多モード的条件付き分布 $P(\mathbf{z}|\mathbf{G})$ をモデル化するために混合密度ネットワーク（MDN）を用い、潜在コードの多様なサンプリングを可能にする。
• 推論時、複数の $\mathbf{z}_k \sim P(\mathbf{z}|\mathbf{G})$ をサンプリングし、それらをデコードして多様で空間的整合性のある色付け出力 $\mathbf{C}_k$ を得る。
• VAEによる再構成と条件付きモデリングを組み合わせることで、色付け出力の多様性と現実性の両立を実現する。

実験結果

リサーチクエスチョン

• RQ1 空間的整合性を保持し、高精度な再構成を可能にするような、色フィールドの低次元潜在空間を学習可能か？
• RQ2 単一のグレースケール入力から多様で現実的な色付けを生成できる多モード的条件付きモデル $P(\mathbf{z}|\mathbf{G})$ をどのように構築できるか？
• RQ3 色分布の不均衡と空間的構造を考慮した損失関数は、生成色付けの品質と多様性を向上させられるか？
• RQ4 CVAEおよびcGANベースラインと比較して、本手法は多様で知覚的に妥当な色付けをどの程度優れて生成できるか？
• RQ5 真の多様性が入手できない状況において、生成色付けの分散は多様性の代理指標としてどの程度有効か？

主な発見

• 本手法は、CVAEおよびcGANと比較して、より高い分散を持つ多様な色付けを達成しており、多様性が優れていることが示唆される一方で、最良出力の誤差は真値と同等水準を維持している。
• 特徴的損失および彩度加重L1損失の導入により、ぼやけが軽減され、特に肌色や草や空のような鮮やかな領域で知覚的品質が向上した。
• LFWおよびLSUN Churchデータセットにおいて、本手法は標準のL2損失とは異なり、これらの指標に最適化されていないにもかかわらず、平均絶対誤差および加重絶対誤差が低かった。
• 定性的な結果から、肌色、衣類の色、背景の色合いが多様な色付けが得られており、複数の妥当なモードを効果的にモデル化していることが示された。
• cGANは多様性を生成できず、CVAEは低分散かつノイズの多い出力を生成するのに対し、本手法は多様でアーチファクトのない色付けを生成する点で優れている。
• VAEベースの潜在空間により高精度な色フィールド再構成が可能となり、MDNベースの条件付きモデルにより多様なモード依存性が効果的に捉えられた。