[論文レビュー] Image Colorization Using a Deep Convolutional Neural Network

Tung Duc Nguyen, Kazuki Mori+1 more|arXiv (Cornell University)|Apr 27, 2016

Generative Adversarial Networks and Image Synthesis参考文献 4被引用数 24

ひとこと要約

本論文は、セマンティック的に類似した参照カラー画像からスタイルを転送することで、グレースケール入力に対して自動的に色を付けるためのディープ畳み込みニューラルネットワーク手法を提案する。事前学習済みのCNNを用いてコンテンツとスタイルを分離し、特徴空間最適化によってそれらを統合することで、ベンチマークデータセットで最先端の結果を達成するとともに、初めて歴史的浮世絵芸術作品の色付けに成功した。

ABSTRACT

In this paper, we present a novel approach that uses deep learning techniques for colorizing grayscale images. By utilizing a pre-trained convolutional neural network, which is originally designed for image classification, we are able to separate content and style of different images and recombine them into a single image. We then propose a method that can add colors to a grayscale image by combining its content with style of a color image having semantic similarity with the grayscale one. As an application, to our knowledge the first of its kind, we use the proposed method to colorize images of ukiyo-e a genre of Japanese painting?and obtain interesting results, showing the potential of this method in the growing field of computer assisted art.

研究の動機と目的

• グレースケール画像の自動色付けのためのディープラーニングベースの手法を開発すること。
• グレースケール画像とカラー画像の間でコンテンツとスタイルをマッチングさせることで、意味的認識に基づいた色の転送を可能にすること。
• 本手法の有効性を文化的に重要な浮世絵芸術作品に対して示すこと、これは新しい応用分野である。
• 事前学習済みのCNNを用いて、画像生成タスクにおけるコンテンツとスタイルの分離を検討すること。

提案手法

• 本手法は、階層的表現を学習済みのため、特徴抽出に事前学習済みの畳み込みニューラルネットワーク（例：VGG）を用いる。
• グレースケール画像からコンテンツ特徴を抽出し、意味的に類似したカラー画像からスタイル特徴を抽出する。
• 出力画像を入力のコンテンツ特徴と参照画像のスタイル特徴に一致させるように最適化することで、色付けを実現する。
• 損失関数は、コンテンツ損失（コンテンツ特徴間のL2距離）とスタイル損失（グラム行列に基づく距離）を組み合わせる。
• バックプロパゲーションを用いてエンドツーエンドで最適化を行い、色付け済みの出力画像を生成する。
• 本手法は浮世絵の絵画に適用され、芸術的スタイルを保持しつつ妥当な色を追加できることを示した。

実験結果

リサーチクエスチョン

• RQ1 異なる画像から得たコンテンツおよびスタイル特徴を組み合わせることで、事前学習済みのCNNを効果的に微調整して画像の色付けに応用できるか？
• RQ2 分類ネットワークから得たディープ特徴は、意味的に意味のある方法で色を転送するためにどれほど有効に使えるか？
• RQ3 本手法は、浮世絵のような歴史的かつ芸術的な画像において、視覚的に妥当で文脈的に正確な色付けを生成できるか？
• RQ4 標準ベンチマークにおいて、従来の色付け手法と比較して、本アプローチの性能はいかがなものか？

主な発見

• 本手法は、事前学習済みネットワークからのディープ特徴を活用することで、標準的な画像色付けベンチマークで最先端のパフォーマンスを達成した。
• 本手法は浮世絵芸術作品の色付けに成功し、視覚的に妥当で芸術的に一貫性のある結果を生成した。文化的遺産分野への応用の可能性を示した。
• スタイル損失にグラム行列を用いることで、入力画像の構造的内容を保持しつつ、効果的なスタイル転送が可能になった。
• 大規模な画像データから学習した意味的認識色分布を用いることで、従来の色付け手法を上回る性能を発揮した。