[論文レビュー] Outline Colorization through Tandem Adversarial Networks

Kevin Frans|arXiv (Cornell University)|Apr 28, 2017

Computer Graphics and Visualization Techniques参考文献 8被引用数 46

ひとこと要約

本論文は、輪郭の色分けを2段階に分けて行うためのタンドム生成対抗ネットワークフレームワークを提案する。まず、色予測ネットワークを用いて輪郭から簡素化された色の配置を予測し、次に条件付きGANを用いて輪郭と色の配置から最終的な画像へと陰影を付ける。この手法は、汚れたまたは不完全な色の配置に対しても、自然でシャープな結果を達成し、直接的なエンドツーエンドの色分けよりも忠実度と境界制御において優れている。

ABSTRACT

When creating digital art, coloring and shading are often time consuming tasks that follow the same general patterns. A solution to automatically colorize raw line art would have many practical applications. We propose a setup utilizing two networks in tandem: a color prediction network based only on outlines, and a shading network conditioned on both outlines and a color scheme. We present processing methods to limit information passed in the color scheme, improving generalization. Finally, we demonstrate natural-looking results when colorizing outlines from scratch, as well as from a messy, user-defined color scheme.

研究の動機と目的

• デジタルアート制作における時間のかかる色塗りと陰影の自動化に取り組む。
• 直接的なエンドツーエンドの色分けには、しばしば形が歪んだり、ランダムに色が配置されたりするという限界があるため、それを克服する。
• 色の配置予測と陰影の分離により、不完全または汚れたユーザーが提供する色の配置に対しても耐性を持つように一般化を向上させる。
• ユーザー定義の色の配置やモデルが予測した色の配置から、高品質で自然な色分けを実現する。

提案手法

• 色予測ネットワークおよび陰影ネットワークの両方のため、残差接続を備えた完全畳み込み型のU-Netに類似したアーキテクチャを用いる。
• タスクを2段階に分解する：まず、色予測ネットワークが輪郭から粗い16×16画素のブロックベースの色の配置にマッピングする。次に、陰影ネットワークが輪郭と色の配置から最終的な画像を生成する。
• 局所的な現実性を評価するパッチベースの識別器を用いて、陰影ネットワークに対して敵対的訓練を適用する。
• 訓練中に10×10のパッチをランダムに削除し、色の配置をぼかすことで、不完全な入力に対する耐性を高めるデータ拡張技術を導入する。
• 色予測ネットワークにはL2損失、陰影ネットワークには敵対的損失を用い、訓練の安定化と視覚的品質の向上を図る。
• 推論時にはピクセル値をスケーリングダウンして入力情報のすべてを保持するが、訓練時にはパッチの削除が行われる。

実験結果

リサーチクエスチョン

• RQ1 直接的なエンドツーエンドマッピングと比較して、2段階のGANアーキテクチャは輪郭色分けの品質と一貫性を向上させることができるか？
• RQ2 粗い色の配置と組み合わせた敵対的訓練は、現実的な陰影と色の配置を生成するのにどの程度効果的か？
• RQ3 ノイズが多い、不完全な、またはユーザーが描いた色の配置が与えられた場合、陰影ネットワークはどの程度一般化できるか？
• RQ4 輪郭のみで学習された色予測ネットワークが、得られた色の配置が陰影ネットワークと組み合わせて高品質な最終画像を生成できるか？
• RQ5 例えばパッチの削除やぼかしによって色の配置を通る情報の流れを制限することで、一般化性と耐性が向上するか？

主な発見

• タンドムネットワークは、色の漏れや誤った配置に悩まされる直接的なエンドツーエンド色分けと比較して、より明確な線と正確な色境界を生成する。
• 汚れた手書きの色の配置が与えられた場合、陰影ネットワークは洪水浸潤のような挙動を示し、輪郭を自然な色境界として使い、色の配置に黒がなくても影を推定する。
• 純白の色の配置が与えられた場合でも、肌色、ハイライト、影といった妥当な特徴を生成するため、輪郭からの強い構造的推論が可能であることが示された。
• 色予測ネットワークは一貫性は高いが、テスト画像全体にわたって類似したスタイルパターンを好むため、出力の多様性は低い。
• 色の配置が不完全であっても、自然で水彩画のような結果を効果的に生成でき、優れた一般化能力を示した。
• パッチの削除とぼかしによる拡張戦略は、ドロップアウトを模倣し、不完全な入力下でも一般化を促進する効果を示した。