[論文レビュー] Learning Representations for Automatic Colorization

Gustav Larsson, Michael Maire+1 more|arXiv (Cornell University)|Mar 22, 2016

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 96

ひとこと要約

本論文は、事前学習されたVGGネットワークから得られるマルチレベルのセマンティック特徴を活用して、1ピクセルあたりの色ヒストグラムを予測する、完全自動の画像色付けのためのディープラーニングフレームワークを提案する。色の分布をモデル化し、エンド・ツー・エンドの学習を実施することで、完全自動および部分自動色付けタスクの両方で最先端の性能を達成するとともに、ImageNetの事前学習なしで自己教師あり表現学習の強力な可能性を示している。

ABSTRACT

We develop a fully automatic image colorization system. Our approach leverages recent advances in deep networks, exploiting both low-level and semantic representations. As many scene elements naturally appear according to multimodal color distributions, we train our model to predict per-pixel color histograms. This intermediate output can be used to automatically generate a color image, or further manipulated prior to image formation. On both fully and partially automatic colorization tasks, we outperform existing methods. We also explore colorization as a vehicle for self-supervised visual representation learning.

研究の動機と目的

• ユーザー入力や参照画像の検索を一切不要としない完全自動の画像色付けシステムの開発。
• 単一の色ではなく色の分布をモデル化することで、複雑なシーンにおける色付け性能の向上。
• 色付けが視覚的表現学習の自己教師あり事前学習目的として機能するかの検討。
• ImageNetを用いた色付け評価の標準化を図る、新しいベンチマークの確立。

提案手法

• グレースケール画像からマルチレベルで空間的に局所化された特徴（ハイパーカラム）を抽出するために、深層畳み込みニューラルネットワーク（VGG）を用いる。
• 1ピクセルあたりの色ヒストグラム（色相と彩度）を単一の色ではなく予測することで、不確実性やマルチモーダルな色分布を捉える。
• 微分可能な損失関数を用いて、予測された色ヒストグラムと真値との差を最小化するようにエンド・ツー・エンドで学習。
• 推論段階では、予測されたヒストグラムからサンプリングすることで色の割り当てを実施し、創造的制御と不確実性を考慮した結果を実現。
• 完全自動色付けと、グローバルな色ヒストグラム事前分布を用いた部分自動設定の両方をサポート。
• 新しいImageNetベースの色付けベンチマークで評価され、Pascal VOC 2012で自己教師あり事前学習のテストも実施。

実験結果

リサーチクエスチョン

• RQ1 1ピクセルあたりの色ヒストグラムを予測するように学習したディープニューラルネットワークは、単一色予測よりも自動画像色付けで優れた性能を発揮できるか？
• RQ2 事前学習されたCNNから得られるセマンティック特徴は、複雑で多様なシーンにおける色付け品質を顕著に向上させられるか？
• RQ3 画像の色付けを、ImageNet分類の事前学習なしで、スクラッチから学習させた場合、セマンティックセグメンテーションなどの下流タスクに競争力のある視覚的表現を生成できるか？
• RQ4 色付けは、ImageNet分類の事前学習に依存するのを減らすために、効果的な自己教師あり事前学習目的として機能できるか？

主な発見

• 提案手法は、複数のデータセットにおいて完全自動および部分自動色付けタスクの両方で最先端の性能を達成し、参照画像の検索や手動入力を必要とする従来手法を上回っている。
• 新しいImageNetベースの色付けベンチマークにおいて、参照画像検索なしでもRMSE、PSNR、視覚的品質の観点で優れた結果を達成している。
• 色の曖昧さやマルチモーダルな分布を示す複雑なシーンに対しても、視覚的に魅力的な結果を生成し、一般的なアーティファクト（色の漏れや不自然な色のシフト）を回避している。
• スクラッチから学習した色付けネットワークは、Pascal VOC 2012のセマンティックセグメンテーションベンチマークでmIU（平均交差率）50.2％を達成し、ランダム初期化よりも顕著に優れており、教師あり事前学習に近い性能に近づいている。
• 色付けが強力な自己教師あり事前学習目的として機能することが示された。ランダム初期化と教師あり事前学習の性能差を50％以上縮小している。
• 色ヒストグラム予測の使用により、不確実性を考慮したサンプリングと後処理が可能となり、色付けにおける創造的制御と耐障害性が実現されている。