[論文レビュー] Artist Style Transfer Via Quadratic Potential

Rahul Bhalley, Jianlin Su|arXiv (Cornell University)|Feb 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 4

ひとこと要約

本稿では、勾配消失を回避し、1リプシッツ制約を必要とせずにGANの学習を安定化するための2次的ポテンシャル発散（QP）を用いた、新しいアーティスト風スタイル変換手法CycleGAN-QPを提案する。また、アイデンティティ損失とサイクル整合性損失を統合し、トランスポジット畳み込みをアップサンプリングに置き換えることで、チェス盤模様アーティファクトを排除する。この手法は、ヴァン・ゴッホ、モネ、セザンヌ、浮世絵を含む複数の芸術的スタイルにおいて、高品質でアーティファクトのないスタイル化画像を生成する。

ABSTRACT

In this paper we address the problem of artist style transfer where the painting style of a given artist is applied on a real world photograph. We train our neural networks in adversarial setting via recently introduced quadratic potential divergence for stable learning process. To further improve the quality of generated artist stylized images we also integrate some of the recently introduced deep learning techniques in our method. To our best knowledge this is the first attempt towards artist style transfer via quadratic potential divergence. We provide some stylized image samples in the supplementary material. The source code for experimentation was written in PyTorch and is available online in my GitHub repository.

研究の動機と目的

• アーティスト風スタイル変換に特化したGANベースの画像対画像変換における不安定さと学習の難しさを解消すること。
• 従来の発散を2次的ポテンシャル発散（QP）に置き換えることで、教師なし画像変換における学習の安定性と収束性を向上させること。
• トランスポジット畳み込みを最近傍探索によるアップサンプリングに置き換えることで、生成されたスタイル化画像におけるチェス盤模様アーティファクトを排除すること。
• サイクル整合性とアイデンティティ損失を用いることで、非ペairedの実写画像と芸術的画像のドメイン間で高忠実度のスタイル変換と再構成を達成すること。
• 多様な芸術的スタイル、例えばヴァン・ゴッホ、モネ、セザンヌ、浮世絵において、最小限のハイパーパrameterチューニングで一般化できるかを実証すること。

提案手法

• クリティックネットワークの学習目的として2次的ポテンシャル発散（QP）を採用し、クリティックに1リプシッツ制約を課さずに安定したGAN学習を可能にする。
• QP発散を用いてクリティック損失を定式化し、WGAN や標準GANと比較して勾配消失を回避し、学習が簡素化される。
• 生成器の目的関数にサイクル整合性とアイデンティティ損失項を統合し、コンテンツの保持と再構成忠実度の向上を図る。
• 生成器内のトランスポジット畳み込み層を最近傍探索によるアップサンプリングに置き換え、その後に畳み込みを適用することで、チェス盤模様アーティファクトを抑制する。
• 固定学習率0.0002、β1=0.5、β2=0.999を用い、Adam最適化手法で生成器とクリティックネットワークをエンドツーエンドに訓練する。
• データオーグメンテーションとして、ランダムな水平反転と256×256解像度へのセンタークロッピングを実施し、各チャネルの平均と標準偏差が0.5となるように正規化する。

実験結果

リサーチクエスチョン

• RQ1 2次的ポテンシャル発散は、クリティック重みクリッピングやスペクトル正規化を要せず、GANベースのアーティスト風スタイル変換における学習安定性と収束性を向上させることができるか？
• RQ2 標準GANやWGANと比較して、提案されたQP-GANフレームワークは、スタイル変換における画像品質とアーティファクト抑制の面でどのように優れているか？
• RQ3 トランスポジット畳み込みをアップサンプリング＋畳み込みに置き換えることで、生成されたスタイル化画像におけるチェス盤模様アーティファクトはどの程度軽減されるか？
• RQ4 サイクル整合性とアイデンティティ損失の組み合わせは、スタイル変換中にコンテンツを保持し、再構成品質を向上させることができるか？
• RQ5 本手法は、ヴァン・ゴッホ、モネ、セザンヌ、浮世絵といった多様な芸術的スタイルに、最小限のハイパーパrameterチューニングで一般化可能か？

主な発見

• 提案されたCycleGAN-QP手法は、ヴァン・ゴッホ、モネ、セザンヌ、浮世絵を含む複数の芸術的スタイルにおいて、高品質なスタイル化画像を効果的に生成した。これは定性的なサンプルから明らかである。
• トランスポジット畳み込みを最近傍探索によるアップサンプリングに置き換えることで、生成画像におけるチェス盤模様アーティファクトが完全に排除された。
• 2次的ポテンシャル発散を用いることで、明示的なクリティック重み制約や勾配ペナルティを必要とせず、安定した学習が達成された。
• 単一のNVIDIA K80 GPUで、15,000イテレーション（浮世絵用には12,000イテレーション）を学習し、1回の学習ランに約1.25日を要した。
• アイデンティティ損失とサイクル整合性損失の使用により再構成品質が向上し、スタイル化出力から元のコンテンツ画像を回復可能となった。
• 本手法は教師なしアーティスト風スタイル変換分野で最先端のパフォーマンスを示しており、実験中にモード崩壊や学習失敗の報告はなかった。