[論文レビュー] P$^2$-GAN: Efficient Style Transfer Using Single Style Image

Zhentan Zheng, Jianyi Liu|arXiv (Cornell University)|Jan 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 6

ひとこと要約

本稿では、1枚のスタイル画像のみを用いて高品質で効率的なスタイル変換を実現する、GANベースの新規スタイル変換手法P²-GANを提案する。パッチの入れ替えを用いて多様なトレーニングサンプルを生成し、パッチ識別子を用いてシームレスな処理を実現することで、2–3倍高速な推論速度を達成し、最先端の手法よりもスタイルの忠実度と計算効率の両面で優れる。

ABSTRACT

Style transfer is a useful image synthesis technique that can re-render given image into another artistic style while preserving its content information. Generative Adversarial Network (GAN) is a widely adopted framework toward this task for its better representation ability on local style patterns than the traditional Gram-matrix based methods. However, most previous methods rely on sufficient amount of pre-collected style images to train the model. In this paper, a novel Patch Permutation GAN (P$^2$-GAN) network that can efficiently learn the stroke style from a single style image is proposed. We use patch permutation to generate multiple training samples from the given style image. A patch discriminator that can simultaneously process patch-wise images and natural images seamlessly is designed. We also propose a local texture descriptor based criterion to quantitatively evaluate the style transfer quality. Experimental results showed that our method can produce finer quality re-renderings from single style image with improved computational efficiency compared with many state-of-the-arts methods.

研究の動機と目的

• 1枚のスタイル画像でのGANベースのスタイル変換モデルのトレーニングに挑戦し、多様なスタイル画像の大量コレクションを必要としないことを目的とする。
• グローバルなコンテンツ推論ではなく、パッチレベルのテクスチャ学習に注力することで、局所的スタイル変換（例：筆致）の忠実度を向上させることを目的とする。
• 軽量でフォワードパスな生成器と、パッチおよびフル解像度画像をシームレスに処理できるパッチ識別子を設計することで、計算効率を向上させることを目的とする。
• ユーザー指定の1枚のスタイル画像に正確に一致する制御可能でユーザー主導のスタイル変換システムを提供することを目的とする。

提案手法

• パッチの入れ替えモジュールが、1枚のスタイル画像からランダムにクロップし、再構成したパッチをより大きな入れ替え済み画像にすることで、複数のトレーニングサンプルを生成する。
• 生成器ネットワークは、残差ブロックを用いたエンコーダ・デコーダアーキテクチャを採用し、コンテンツを保持しながらスタイルを転送する。推論速度を最適化している。
• パッチごとおよびフル解像度画像を同時に処理できる新しいパッチ識別子（Dₚ）を設計し、一貫した監視のもとでエンドツーエンドのトレーニングを可能にした。
• パッチレベルでのスタイル類似度を測定・最適化するために、LBP（局所バイナリパターン）に基づくローカルテクスチャ記述子を知覚的損失として用いる。
• 全体のGAN損失は、 adversarial損失、コンテンツ損失、およびLBPに基づくスタイル損失を組み合わせており、最適なトレードオフを得るためにハイパーパrameter λ を調整している。
• トレーニングは1枚のGPUでRMSPropを用い、1スタイルあたり約20分で収束する。

実験結果

リサーチクエスチョン

• RQ1 1枚のスタイル画像でのトレーニングに限っても、GANベースのスタイル変換モデルが高品質な結果を達成できるか。分布崩壊を回避できるか。
• RQ2 1枚の画像から得られるパッチレベルのデータオーグメンテーションは、スタイル変換における局所的筆致パターンの学習をどのように向上させるか。
• RQ3 統一された識別子が、自然画像とパッチ入力を両方効果的に処理でき、トレーニングの安定性と効率性を向上させられるか。
• RQ4 提案手法のLBPに基づく損失は、グラム行列や知覚的損失と比較して、局所的テクスチャ転送の忠実度をどの程度向上させるか。
• RQ5 提案手法の計算効率は、既存の最先端のGANベースおよび非GANベースのスタイル変換モデルと比較して、どの程度優れているか。

主な発見

• 提案手法は、LBPに基づくスタイル類似度スコアが最小（0.756 ± 0.22）を記録し、ソーススタイル画像へのテクスチャ忠実度が最も高かった。これは、JohnsonNet（0.790 ± 0.33）およびTextureNetIN（0.776 ± 0.35）を上回ることを示している。
• MGAN [6] は、最高のスコア（0.963 ± 0.37）を記録し、スタイル類似度が最も低かった。これは、意図しないまたは一貫性のないパターンを学習した可能性を示唆している。
• 1024×1024解像度の画像において、20 FPSを超えるリアルタイム性能を達成し、同解像度でJohnsonNet（128 ms）、TextureNetIN（137 ms）、MGAN（40.7 ms）を大きく上回った。
• 512×512解像度の画像では、MGANの2.3倍、TextureNetINの2.2倍高速であり、計算効率の優位性が明確に示された。
• 最先端の手法と比較して、計算コストを30–50％削減しながら、スタイル変換の品質を維持または向上させた。
• アブレーションスタディにより、パッチの入れ替えとパッチ識別子が、微細な筆致パターンの学習とグローバル構造の漏洩を回避するために不可欠であることが確認された。