[論文レビュー] Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN

Lvmin Zhang, Yi Ji+1 more|arXiv (Cornell University)|Jun 11, 2017

Generative Adversarial Networks and Image Synthesis参考文献 12被引用数 33

ひとこと要約

本稿では、拡張された残差U-Net生成器と補助分類器GAN（AC-GAN）を組み合わせた、アニメスケッチ向けの新規スタイル転送手法を提案する。VGG-19のfc1層からのグローバルスタイルヒントと、訓練の安定化を図る2つのガイドデコーダーを導入することで、参照絵画からスケッチへの芸術的スタイルの転送を効果的に行い、意味的構造を保持するとともに、高品質で一貫性のある結果を得る高速でフォワードのみの推論を実現する。

ABSTRACT

Recently, with the revolutionary neural style transferring methods, creditable paintings can be synthesized automatically from content images and style images. However, when it comes to the task of applying a painting's style to an anime sketch, these methods will just randomly colorize sketch lines as outputs and fail in the main task: specific style tranfer. In this paper, we integrated residual U-net to apply the style to the gray-scale sketch with auxiliary classifier generative adversarial network (AC-GAN). The whole process is automatic and fast, and the results are creditable in the quality of art style as well as colorization.

研究の動機と目的

• 既存のニューラルスタイル転送手法が、しばしばランダムまたは一貫性のない色塗りを引き起こすため、絵画のスタイルをアニメスケッチに転送する際の限界を解消すること。
• 1枚の参照絵画をスタイルマップとして用いて、スケッチをスタイル付きの絵画にマッピングする、完全にフォワードのみで高速かつ自動的な手法を開発すること。
• 入力と出力の情報量に偏り（例：スケッチ vs. 詳細な絵画）が生じる条件付きGANにおける訓練の不安定性を、二重のガイドデコーダーを備えた変更版残差U-Netにより克服すること。
• AC-GANの変種を用いて、実画像／偽物画像の分類と同時にスタイルカテゴリの予測を可能にすることで、識別器の性能を向上させること。
• 髪、目、肌、服などの意味的特徴を保持し、一貫性があり芸術的に妥当な出力を得られる高精細なスタイル転送を実現すること。

提案手法

• 生成器はスキップ接続を備えた残差U-Netアーキテクチャを採用し、VGG-19のfc1層（4096次元）からのグローバルスタイルヒントを、中位レベルの層にグローバル正規化後に追加する。
• 2つのガイドデコーダーを導入：中位レベルの層の入力部と出力部にそれぞれ配置し、バックプロパゲーション中の勾配の消失を防ぎ、勾配の安定化を図る。
• 3つの成分を持つ修正L1損失を用いる：最終出力における再構成損失と、2つのガイドデコーダー出力における追加のL1損失（重みα=0.3、β=0.9）。
• 識別器はAC-GANを変更したもので、スタイル埋め込みに対応する4096クラスの出力を有し、実画像／偽物画像の分類とスタイルカテゴリの予測を同時に実行可能である。
• 訓練の目的関数は、対抗損失（L_GAN）と合成L1損失を組み合わせ、最終的な最適化目標は min_G max_D L_GAN + λ·L_l1 である。
• VGG-19の特徴量を固定したまま、実スケッチ-絵画ペairを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANベースの手法は、意味的整合性と色の整合性を保ちつつ、参照絵画からスケッチへの芸術的スタイル転送を効果的に行えるか？
• RQ2 低情報量のスケッチから高情報量の絵画への転送において、U-Netアーキテクチャで生じる訓練の不安定性は、どのように緩和できるか？
• RQ3 事前学習済みVGGネットワークからのグローバルスタイルヒントの統合は、アニメスケッチの色塗りにおけるスタイル転送の品質と一貫性を向上させるか？
• RQ4 アンパairesドや不均衡なデータ分布を含むスタイル転送タスクにおいて、補助分類器GANは、標準的な条件付きGANを上回る性能を示すか？
• RQ5 ガイドデコーダーは、画像対画像翻訳のための深層残差U-Net生成器における勾配の流れと訓練の安定性をどの程度向上させるか？

主な発見

• 提案手法は、参照絵画からアニメスケッチへの芸術的スタイル転送を成功裏に実行し、一貫性があり高品質で芸術的に妥当な結果を生成し、ランダムまたは一貫性のない色塗りを回避した。
• 2つのガイドデコーダーの使用により、特に高次元のスタイルヒントを扱う際の訓練の安定性が顕著に向上し、損失のフラクチュエーションが減少し、勾配の流れがより一貫するようになった。
• 標準U-Netや条件付きGANと比較して優れた性能を示し、髪、目、肌、服といった意味的特徴の保持に特に優れており、スタイルマップに従って正確に色付けされた。
• AC-GAN識別器は、画像の真正性とスタイルカテゴリの両方の分類を可能にすることで、標準的な条件付きGANを上回り、より焦点を合わせたリアルなスタイル生成を実現した。
• ガイドデコーダー機構のおかげで、ノイズが多いか、非常に情報量の多いグローバルスタイルヒント（例：4096次元ベクトル）に対してもモデルの頑健性が保たれ、中位レベル層の勾配を安定化させた。
• 高速でフォワードのみの推論が可能であり、アニメ制作やデジタルアート分野におけるリアルタイム応用に適している。