[論文レビュー] DRB-GAN: A Dynamic ResBlock Generative Adversarial Network for Artistic Style Transfer

Wenju Xu, Chengjiang Long+2 more|arXiv (Cornell University)|Aug 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 6

ひとこと要約

本稿では、アーティスティックスタイル転送のための動的残差ブロックに基づく GAN、DRB-GAN を提案する。このモデルは、1つのモデルで任意のスタイル転送とコレクションベースのスタイル転送を統合する。スタイルコードを動的残差ブロック内の共有パラメータとしてモデル化し、スタイルクラスに特化したアテンションメカニズムと空間窓レイヤーインスタンス正規化を採用することで、両方のスタイル転送タイプにおいて最先端の視覚的品質と効率性を達成した。

ABSTRACT

The paper proposes a Dynamic ResBlock Generative Adversarial Network (DRB-GAN) for artistic style transfer. The style code is modeled as the shared parameters for Dynamic ResBlocks connecting both the style encoding network and the style transfer network. In the style encoding network, a style class-aware attention mechanism is used to attend the style feature representation for generating the style codes. In the style transfer network, multiple Dynamic ResBlocks are designed to integrate the style code and the extracted CNN semantic feature and then feed into the spatial window Layer-Instance Normalization (SW-LIN) decoder, which enables high-quality synthetic images with artistic style transfer. Moreover, the style collection conditional discriminator is designed to equip our DRB-GAN model with abilities for both arbitrary style transfer and collection style transfer during the training stage. No matter for arbitrary style transfer or collection style transfer, extensive experiments strongly demonstrate that our proposed DRB-GAN outperforms state-of-the-art methods and exhibits its superior performance in terms of visual quality and efficiency. Our source code is available at \color{magenta}{\url{https://github.com/xuwenju123/DRB-GAN}}.

研究の動機と目的

• 既存手法が任意のスタイル転送とコレクションベースのスタイル転送を別々のタスクとして扱うという制限を解消すること。
• スタイルコードをスタイル転送ネットワーク内の複数の動的残差ブロックで共有パラメータとしてモデル化することで、スタイル転送の品質を向上させること。
• スタイルエンコーディングネットワークにおけるスタイルクラスに特化したアテンションメカニズムを用いて、特徴表現学習を強化すること。
• 多様なアーティスティックスタイルや画像解像度に対し、一貫性があり高品質なスタイル転送を可能にすること。
• 複数の同じアーティストのスタイル画像を参照として取り入れるスタイルコレクション条件付き判別器を設計し、任意のスタイル転送およびコレクションベースのスタイル転送における汎化性と一貫性を向上させること。

提案手法

• スタイル転送ネットワーク内の複数の動的残差ブロック（Dynamic ResBlocks）において、スタイルコードを動的畳み込みおよびAdaINレイヤーの共有パラメータとしてモデル化する。
• スタイルエンコーディングネットワークに固定のVGGエンコーダと学習可能なエンコーダを統合し、スタイルに特化した特徴を抽出する。
• スタイル特徴表現から得られるアテンション重みを用いて、スタイルコードの再キャリブレーションをスタイルクラスに特化したアテンションメカニズムで行う。
• 局所的なチャネルワイドおよびレイヤーワイド正規化を学習可能なパラメータで動的に組み合わせる空間窓レイヤーインスタンス正規化（SW-LIN）デコーダを採用する。
• 同じアーティストの複数のスタイル画像を参照として取り入れるスタイルコレクション条件付き判別器を設計し、特徴空間の一貫性を強制する。
• 敵対的損失、知覚的損失、および分類損失（$\mathcal{L}_{cls}$）を用いてモデルを訓練することで、スタイルコードのクラスタリングと汎化性を向上させる。

Figure 1: Examples of two types of artistic style transfer: (a) arbitrary style transfer and (b) collection style transfer. Note that the style image 1 and style collection 1 are from the artist Pablo Picasso , and the style image 2 and style collection 2 are from the artist Ukiyo-e . Our proposed D

実験結果

リサーチクエスチョン

• RQ1 統合された GAN フレームワークは、任意のスタイル転送とコレクションベースのスタイル転送の両方を効果的に行えるか？
• RQ2 動的残差ブロック内のスタイルコードを共有パラメータとしてモデル化することで、スタイル転送のパフォーマンスはどのように向上するか？
• RQ3 スタイルクラスに特化したアテンションメカニズムは、学習されたスタイルコードの識別力にどの程度向上効果をもたらすか？
• RQ4 SW-LIN デコーダはアーティファクト低減と高解像度スタイル転送にどのように寄与するか？
• RQ5 スタイルコレクション条件付き判別器は、スタイル転送における一貫性と汎化性にどのような影響を与えるか？

主な発見

• DRB-GAN は、任意のスタイル転送およびコレクションベースのスタイル転送の両方で最先端のパフォーマンスを達成し、知覚スコア 0.383、欺瞞スコア 0.573 を記録した。
• アブレーションスタディの結果、VGGエンコーダを削除するとスタイルスコアが著しく低下（0.383 → 0.273）し、スタイルの詳細を捉える上でその重要性が示された。
• 損失関数 $\mathcal{L}_{cls}$ を含まないモデルではスタイルの一貫性が低下し、スタイルスコアが 0.273 に低下した。これは、クラスに特化したアテンションによるスタイルコードのクラスタリングの有効性を確認するものである。
• SW-LIN デコーダは、インスタンス正規化やレイヤー正規化単体よりも優れた性能を示し、アーティファクトを回避するとともに高解像度の詳細を保持した。
• DRB-GAN は、未観測のスタイルに対しても良好に一般化する。定性的な結果から、未確認のアーティストに対しても、スタイル化出力がターゲットスタイルと一致していることが確認された。
• 異なる入力解像度に対しても一貫したパフォーマンスを維持しており、モデルのロバスト性とスケーラビリティを示している。

Figure 2: An overview of the proposed DRB-GAN, which consists of a style encoding network, a style transfer network, and a discriminative network. The style code modeled as the shared parameter for dynamic ResBlocks is the output from the style encoding network, with a combination of a pre-trained V