[論文レビュー] Interactive Deep Colorization With Simultaneous Global and Local Inputs

Yi Xiao, Peiyao Zhou+1 more|arXiv (Cornell University)|Jan 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 4被引用数 7

ひとこと要約

本論文は、1つのU-Netアーキテクチャ内で同時にグローバル（色のテーマ）とローカル（色のポイント）のユーザー入力をサポートする、新しい深層色付け手法を提案する。入力の影響を区別するように特別に設計された損失関数を用いることで、柔軟なユーザー制御が可能となり、色のテーマ推薦システムを備える。グローバルおよびローカル入力の両方を用いた場合のPSNRが28.5375に達し、最先端の結果を達成している。

ABSTRACT

Colorization methods using deep neural networks have become a recent trend. However, most of them do not allow user inputs, or only allow limited user inputs (only global inputs or only local inputs), to control the output colorful images. The possible reason is that it's difficult to differentiate the influence of different kind of user inputs in network training. To solve this problem, we present a novel deep colorization method, which allows simultaneous global and local inputs to better control the output colorized images. The key step is to design an appropriate loss function that can differentiate the influence of input data, global inputs and local inputs. With this design, our method accepts no inputs, or global inputs, or local inputs, or both global and local inputs, which is not supported in previous deep colorization methods. In addition, we propose a global color theme recommendation system to help users determine global inputs. Experimental results shows that our methods can better control the colorized images and generate state-of-art results.

研究の動機と目的

• 既存の深層色付け手法が同時にグローバルおよびローカルのユーザー入力を処理できないという制限を解決すること。
• ヒストограмや例示画像よりも直感的な色のテーマをグローバル入力として導入することで、色付け出力に対するユーザーの制御を向上させること。
• 色のテーマの選択にかかるユーザーの作業負荷を軽減するため、グレースケールテクスチャ特徴量と学習済みの色ヒストограмマッピングに基づく推薦システムを提案すること。
• 4通りの入力組み合わせ（入力なし、グローバル入力のみ、ローカル入力のみ、グローバルおよびローカル入力の両方）を1つのネットワークですべて対応できる統合型のディープラーニングモデルを設計すること。

提案手法

• 本手法は、3層の畳み込み層および3層のプーリング層による特徴抽出、グローバル色テーマと抽出された特徴の統合による特徴統合、Lab色空間の彩度チャネルの再構築に3層のデコンボリューション層を用いるU-Netベースのニューラルネットワークを採用する。
• 入力データ、グローバル入力（色のテーマ）、ローカル入力（色のポイント）の影響を区別するように設計された新しい損失関数を導入し、トレーニング中にそれぞれの寄与度を適切に保証する。
• グローバル入力は3〜7色の色のテーマとして定義され、ヒストограмや例示画像よりもユーザーに優しい。
• 大規模な画像データベースを用いて、グレースケールテクスチャ特徴量から色ヒストограмへのマッピングを学習することで、グローバル色のテーマ推薦システムを構築する。
• 1つのネットワーク内で、入力なし、グローバル入力のみ、ローカル入力のみ、両方の入力の4つの入力モードをすべて対応可能にしている。
• 20枚のテスト画像を用いて、さまざまな入力組み合わせの下でPSNRを評価し、最先端の手法と比較した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、画像色付けのためのグローバル色のテーマとローカル色のポイントを同時に効果的に活用できるか？
• RQ2 エンド・ツー・エンドのトレーニング中に、グローバル入力とローカル入力の寄与度を適切に区別・重み付けできる損失関数をどのように設計できるか？
• RQ3 ヒストограмや例示画像と比較して、色のテーマをグローバル入力として用いることで、ユーザーの制御性が向上し、入力作業負荷が軽減されるか？
• RQ4 テクスチャ特徴量と学習済みの色マッピングに基づく推薦システムは、関連性の高い色のテーマを効果的に提案できるか？
• RQ5 4通りの入力モードをサポートする統合型モデルの性能は、専用モデルと比較してPSNRおよび視覚的品質の面で優れているか？

主な発見

• グローバルおよびローカル入力を両方使用した場合、PSNRが28.5375に達し、評価されたすべての手法の中で最も高い水準に近い結果を達成した。
• ベースラインの自動色付け手法（PSNR ≈24.5）を上回り、グローバル入力のみを使用した場合、[17]のユーザーガイドド手法（27.8543 vs. 29.2105 PSNR）を上回る性能を示した。
• ローカル入力のみを使用した場合、PSNRは27.2619に達したが、[17]の29.0978よりは低いが、依然として高い性能を示しており、ローカル入力の処理における最適化の余地があることが示された。
• リアルタイム推論が可能であり、GTX 1080Ti GPUで512×512の画像を0.0228秒で処理できる。
• 特に推薦システムと組み合わせた場合、歴史的・低品質なモノクロ画像に対しても、最小限のユーザー入力で自然な色付け結果を生成できた。
• 屋外風景、人物ポートレート、歴史的写真など多様な画像カテゴリにわたり、視覚的に自然で詳細な色付け結果を生成した。