[論文レビュー] Arbitrary Style Transfer via Multi-Adaptation Network

Yingying Deng, Fan Tang+4 more|arXiv (Cornell University)|May 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 10

ひとこと要約

本稿では、自己注意機構と共同適応モジュールを用いてコンテンツとスタイルの表現を分離することで、任意のスタイル転送に適したマルチ適応ネットワーク（MAN）を提案する。この手法は、細部にまで及ぶコンテンツの保持と、豊かで鮮やかなスタイルパターンの転送を実現し、分類精度の向上を含む定性的・定量的評価により検証された、最先端の結果を達成する。

ABSTRACT

Arbitrary style transfer is a significant topic with research value and application prospect. A desired style transfer, given a content image and referenced style painting, would render the content image with the color tone and vivid stroke patterns of the style painting while synchronously maintaining the detailed content structure information. Style transfer approaches would initially learn content and style representations of the content and style references and then generate the stylized images guided by these representations. In this paper, we propose the multi-adaptation network which involves two self-adaptation (SA) modules and one co-adaptation (CA) module: the SA modules adaptively disentangle the content and style representations, i.e., content SA module uses position-wise self-attention to enhance content representation and style SA module uses channel-wise self-attention to enhance style representation; the CA module rearranges the distribution of style representation based on content representation distribution by calculating the local similarity between the disentangled content and style features in a non-local fashion. Moreover, a new disentanglement loss function enables our network to extract main style patterns and exact content structures to adapt to various input images, respectively. Various qualitative and quantitative experiments demonstrate that the proposed multi-adaptation network leads to better results than the state-of-the-art style transfer methods.

研究の動機と目的

• 任意のスタイル転送において、豊富で多様なスタイルパターンを転送する一方で、詳細なコンテンツ構造を保持する課題に対処すること。
• 特に大きなドメインシフト下でも、コンテンツとスタイルの表現を効果的に分離できない既存手法の限界を改善すること。
• 調整可能なスタイル重みとマルチスタイル補間を可能にする、柔軟なフレームワークの開発。
• コンテンツ特徴からの独立性を制約する新しい損失関数を用いて、特徴の分離を強化すること。
• コンテンツ保持とスタイルの鮮やかさの両立を図った高品質なスタイル化画像を生成し、分類およびユーザースタディにより検証すること。

提案手法

• 位置ごとの自己注意モジュール（コンテンツ表現の強化用）とチャネルごとの自己注意モジュール（スタイル表現の精緻化用）を導入する。
• 分離されたコンテンツ特徴とスタイル特徴の間で非局所的かつ長距離の類似性を計算する共同適応（CA）モジュールを採用し、コンテンツ構造に応じてスタイルパターンを再配分する。
• スタイル特徴がコンテンツ特徴から独立するよう促す分離損失関数を設計する。
• コンテンツおよびスタイル画像の特徴抽出に共有エンコーダを用いたフィードフォワードネットワークを採用し、その後、SAおよびCAモジュールによる適応的変調を施す。
• より大きな受容 field と局所パターンの転送を向上させるために、深層部（例：conv5_1）からのマルチスケール特徴融合戦略を適用する。
• 重み付き組み合わせ関数 $ I_{cs} = \mathcal{D}(\alpha f_{cs} + (1-\alpha)f_c) $ を用いて、スタイル補間と調整可能なスタイル強度を実現する。

実験結果

リサーチクエスチョン

• RQ1 統合されたネットワークアーキテクチャは、任意のスタイル転送においてコンテンツとスタイルの表現を効果的に分離できるか？
• RQ2 共同適応モジュールは、コンテンツ構造にスタイル分布を一致させることで、スタイル転送品質をどのように向上させるか？
• RQ3 提案された分離損失は、コンテンツおよびスタイル特徴の分離をどの程度向上させるか？
• RQ4 畳み込み層における受容 field のサイズは、グローバルなコンテンツ構造の保持と局所的スタイルパターンの転送にどのように影響するか？
• RQ5 モデルは、スタイル補間や調整可能なスタイル強度といった柔軟な応用をサポートできるか？

主な発見

• 提案手法はコンテンツ分類精度34.6%およびスタイル分類精度62.9%を達成し、コンテンツとスタイルの保持のバランスの取れた妥当なトレードオフを示している。
• 分離損失を用いることで、モデルは重要なスタイルパターン（例：violetsの羽）と顕著なコンテンツ構造を効果的に保持しており、定性的な比較で明確に示されている。
• 受容 field を大きく（conv5_1や3×3カーネルを用いて）すると、局所パターンに過剰に注目され、グローバルなコンテンツ構造が歪められる傾向が見られ、受容 field の制御の重要性が示された。
• 定性的な結果および定量的指標（ユーザースタディや分類精度含む）において、最先端の手法を上回る性能を発揮している。
• スタイル補間およびパrameter $\alpha$ を用いた調整可能なスタイル強度により、さまざまなスタイル強度を持つスタイル化画像の柔軟な生成が可能である。
• アブレーションスタディにより、分離損失が特徴の分離を顕著に向上させ、より一貫性があり現実的なスタイル化出力をもたらすことが確認された。