[論文レビュー] EFANet: Exchangeable Feature Alignment Network for Arbitrary Style Transfer

Zhijie Wu, Chunjin Song+3 more|arXiv (Cornell University)|Nov 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 4

ひとこと要約

EFANetは、特徴交換ブロックを通じて交換可能な特徴を学習することで、コンテンツ特徴とスタイル特徴を同時に整合化する、任意のスタイル転送のための新規エンドツーエンドフレームワークを提案する。この手法により、スタイリング品質と構造の保持が著しく向上する。ホワイトニング損失を導入してコンテンツ特徴を洗練させ、マルチスケール融合を実装することで、定量的および定性的なベンチマークにおいて従来手法を上回るリアルタイムで高精細なスタイリングを達成する。

ABSTRACT

Style transfer has been an important topic both in computer vision and graphics. Since the seminal work of Gatys et al. first demonstrates the power of stylization through optimization in the deep feature space, quite a few approaches have achieved real-time arbitrary style transfer with straightforward statistic matching techniques. In this work, our key observation is that only considering features in the input style image for the global deep feature statistic matching or local patch swap may not always ensure a satisfactory style transfer; see e.g., Figure 1. Instead, we propose a novel transfer framework, EFANet, that aims to jointly analyze and better align exchangeable features extracted from content and style image pair. In this way, the style features from the style image seek for the best compatibility with the content information in the content image, leading to more structured stylization results. In addition, a new whitening loss is developed for purifying the computed content features and better fusion with styles in feature space. Qualitative and quantitative experiments demonstrate the advantages of our approach.

研究の動機と目的

• 固定または非適応的なスタイル統計に依存する従来のスタイル転送手法の限界を解決すること。これは、複雑なスタイルにおいて歪みや一貫性の欠如を引き起こす。
• コンテンツ画像とスタイル画像を同時に分析することで、ペア固有で互換性のあるスタイル特徴を抽出し、スタイリング品質を向上させること。
• リアルタイムでの任意のスタイル転送を可能にするとともに、コンテンツ構造の保持と複雑なスタイルパターンの正確な模倣を実現すること。
• 新規のホワイトニング損失関数を用いて、コンテンツ特徴からスタイルアーチファクトを除去することで、特徴の統合を強化すること。

提案手法

• コンテンツ画像とスタイル画像の間で共通の交換可能なスタイル特徴を学習するため、特徴交換ブロックを導入。これは、深層特徴空間における共通表現を最大化することで実現される。
• コンテンツ特徴に新規のホワイトニング損失を適用し、スタイルパターンを除去することで、スタイル特徴とのクリアな統合と相性の向上を実現する。
• 複数の層（例：relu_4）でマルチスケール特徴統合を実施し、グローバルおよびローカルなスタイルパターンをよりよく捉える。
• スタイリング品質を最適化するため、コンテンツ損失、スタイル損失、および提案されたホワイトニング損失の組み合わせにより、エンドツーエンドでネットワークを訓練する。
• 反復的最適化をフィードフォワードネットワークに置き換えることで、1枚のGPU上でリアルタイム推論を実現する。
• ハイパーパrameter α を用いたブレンド戦略により、スタイリング強度を制御可能にし、コンテンツ画像からスタイライズド画像への滑らかな遷移を実現する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ画像とスタイル画像の共同分析により、個別にスタイル統計を用いる手法と比較して、任意のスタイル転送の品質と一貫性が向上するか？
• RQ2 コンテンツ画像とスタイル画像に共通する特徴を学習することで、より良い整合性と構造的スタイリング結果が得られるか？
• RQ3 ホワイトニング損失が、残留するスタイルパターンを除去することでコンテンツ特徴を洗練させ、ターゲットスタイル特徴との統合を向上させることができるか？
• RQ4 マルチスケール特徴統合は、スタイライズド出力における細粒度のスタイルパターンと空間的構造の保持にどのように影響するか？
• RQ5 提案されたフレームワークは、視覚的品質とユーザーの好みにおいて、既存のリアルタイムスタイル転送手法をどの程度上回るか？

主な発見

• 2対1の比較評価で、30名の被験者から600票のユーザー好まれスコアを獲得し、すべてのベースラインを上回る知覚的品質を達成した。
• 共通特徴学習を実装した完全モデルは、交換可能な特徴を有しないアブレーションベースラインと比較して、スタイル損失を大幅に低減した。これは、スタイルマッチングの向上を示している。
• アブレーションスタディの結果、ホワイトニング損失を除去すると、輪郭がぼやけたりイエローモールドアーチファクトが発生することが判明。これにより、特徴の相性向上と視覚的明瞭性の向上にその役割があることが証明された。
• マルチスケール戦略は、顕著なスタイルパターンの捉え方を著しく向上させた。視覚的比較では、完全モデルが単一スケールの代替手法と比較して、テクスチャと色の一貫性をよりよく保持していることが示された。
• 12GBのTitan V GPUを用いて、EFANetはリアルタイム推論を達成。AdaINと同等の性能を維持しながら、より優れたスタイリング品質を提供した。
• ブレンド（α）による柔軟なスタイリング制御が可能で、再トレーニングなしにコンテンツ画像からスタイライズド画像への滑らかな遷移を実現した。