[論文レビュー] Unsupervised Diverse Colorization via Generative Adversarial Networks

Yun Cao, Zhiming Zhou+2 more|arXiv (Cornell University)|Feb 22, 2017

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 21

ひとこと要約

本稿では、1枚のグレースケール画像から複数の現実的で多様な色あざけを生成する、条件付き生成対抗ネットワーク（cGAN）を用いた教師なしの多様な色あざけ化手法を提案する。完全畳み込み型生成器に多層ノイズ注入と多層条件付連結を採用することで、空間的詳細と現実性を維持しつつ色あざけの多様性を向上させ、チューリングテストにおいて62.6％の説得力を持つフィードバックを達成し、実画像と有意差のない結果（p = 0.1359）を示した。

ABSTRACT

Colorization of grayscale images has been a hot topic in computer vision. Previous research mainly focuses on producing a colored image to match the original one. However, since many colors share the same gray value, an input grayscale image could be diversely colored while maintaining its reality. In this paper, we design a novel solution for unsupervised diverse colorization. Specifically, we leverage conditional generative adversarial networks to model the distribution of real-world item colors, in which we develop a fully convolutional generator with multi-layer noise to enhance diversity, with multi-layer condition concatenation to maintain reality, and with stride 1 to keep spatial information. With such a novel network architecture, the model yields highly competitive performance on the open LSUN bedroom dataset. The Turing test of 80 humans further indicates our generated color schemes are highly convincible.

研究の動機と目的

• グレースケールから色へのマッピングに曖昧性があるため、平均的でセピア調の結果を生じる決定論的色あざけ化モデルの限界に対処する。
• 人間がアノテートした色のリファレンスや真値の色ラベルを必要とせずに、教師なしで多様で現実的な色あざけ化を可能にする。
• 色あざけ化モデルが単一の平均色出力に収束する問題を克服し、妥当な色の全分布をモデル化する。
• 空間的忠実性を維持し、ノイズ注入と条件付き監視を通じて多様性を制御可能な新しい生成器アーキテクチャを開発する。

提案手法

• ダウンサンプリングを回避し、空間分解能を保持するため、ストライド1の畳み込みを用いた完全畳み込み型生成器を設計する。
• 生成器の最初の半分の畳み込み層に多層ノイズを注入することで、生成される色あざけの多様性を向上させる。
• 生成器の複数の層に、条件付きグレースケール入力を連結することで、現実的な色分布と構造的一致性を維持する。
• 生成器が実画像と生成画像を区別するのを騙せるように、条件付きGANを用いてモデルを訓練する。
• 人間がアノテートした色ラベルを一切必要としない、実／偽の2値信号のみを要するディスクライマーを用いることで、完全に教師なしの訓練を可能にする。
• 異なるノイズシードを用いることで、真のデータ分布をモデル化し、多様な出力を可能にする生成器を最適化する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANは、教師なしで1枚のグレースケール画像から多様で現実的な色あざけを生成できるか？
• RQ2 空間的詳細を維持しつつ、色出力の多様性を高めるために、生成器アーキテクチャをどのように設計できるか？
• RQ3 モデルは人間の知覚テストにおいて、実画像と区別できない色あざけを生成できるか？
• RQ4 複数の層にノイズを注入することで、現実性を損なわず色あざけの多様性が向上するか？
• RQ5 元の色が曖昧な場合でも、1つの入力に対して複数の妥当な色あざけスケームを生成できるか？

主な発見

• 提案手法は、1枚のグレースケール入力から多様で現実的な色あざけを生成でき、人間参加者の62.6％が生成画像を説得力があると評価した。
• 真値画像は参加者の70.0％が「実画像」と評価したため、モデルの出力が現実性において非常に競争力があることが示された。
• 2標本t検定の結果、実画像と生成画像のヒューリスティック評価に有意差がなかった（p = 0.1359 > 0.05）、すなわち知覚的に区別できないことを示した。
• 平均して、真値画像の信憑性ランクは5段階中2.5であったため、少なくとも37.5％の生成画像が真の画像よりも現実的だと評価されたことを示唆した。
• 多層ノイズと条件付連結を備えた完全畳み込み型、ストライドなしの生成器は、空間的構造を効果的に保持し、高品質で多様な出力を可能にした。
• 従来の教師ありおよび決定論的アプローチを上回り、『セピア調の平均色問題』を回避し、妥当な色の全分布をモデル化することで、多様な出力を実現した。