[論文レビュー] Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration

Lu Sheng, Ziyi Lin+2 more|arXiv (Cornell University)|May 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 14

ひとこと要約

Avatar-Netは、コンテンツとスタイルの特徴を整列させながら意味的コンテンツおよび詳細なパターンを保持する、パッチベースのスタイルデコレーターを用いたマルチスケールでゼロショットのスタイル変換手法を提案する。このモジュールをマルチスケールのアワーガラスネットワークに統合することで、1回のフォワードパスで最先端のスタイル化品質と効率性を達成し、動画スタイル化やスタイルブレンドといったリアルタイム応用を可能にする。

ABSTRACT

Zero-shot artistic style transfer is an important image synthesis problem aiming at transferring arbitrary style into content images. However, the trade-off between the generalization and efficiency in existing methods impedes a high quality zero-shot style transfer in real-time. In this paper, we resolve this dilemma and propose an efficient yet effective Avatar-Net that enables visually plausible multi-scale transfer for arbitrary style. The key ingredient of our method is a style decorator that makes up the content features by semantically aligned style features from an arbitrary style image, which does not only holistically match their feature distributions but also preserve detailed style patterns in the decorated features. By embedding this module into an image reconstruction network that fuses multi-scale style abstractions, the Avatar-Net renders multi-scale stylization for any style image in one feed-forward pass. We demonstrate the state-of-the-art effectiveness and efficiency of the proposed method in generating high-quality stylized images, with a series of applications include multiple style integration, video stylization and etc.

研究の動機と目的

• ゼロショットスタイル変換における一般化性と効率性のトレードオフを解決すること。
• 微調整なしで任意の未学習スタイルに対して高品質なスタイル化を可能にすること。
• 1回の推論パスでマルチスケールのスタイル化を実現し、リアルタイム応用を可能にすること。
• コンテンツを歪めることなく、グローバルなスタイル分布と詳細なスタイルパターンの両方を保持すること。
• スタイルに依存しないエンドツーエンドで学習可能なアーキテクチャを構築し、スタイル化された特徴から自然画像を再構築すること。

提案手法

• 任意のスタイル画像からの意味的に整列したスタイル特徴を用いて、コンテンツ特徴をパッチベースのスタイルデコレーターで装飾する。
• スタイルデコレーターは、コンテンツ特徴とスタイル特徴の分布的差異を最小化するとともに、詳細なスタイルパターンの明示的抽出を実現する。
• マルチスケールのスキップ接続を備えたアワーガラスネットワークを採用し、特徴階層全体にわたる包括的でマルチスケールのスタイル適応を可能にする。
• スタイルに依存しない画像デコーダーを用いて、装飾された特徴からスタイライズド画像を再構築し、コンテンツの認識可能性を保証する。
• 知覚損失やスタイル固有の監視に依存せずに、自然画像の再構築のみを目的関数として、アワーガラスネットワークを学習する。
• マルチスケール特徴を1回のフォワードパスで処理することで効率的な推論を実現し、計算コストを低減するためのオプションとしてパッチサンプリングを導入する。

実験結果

リサーチクエスチョン

• RQ1 1回のフォワードパスで、多様で任意のスタイルに対して高品質なゼロショットスタイル変換を達成できるか？
• RQ2 スタイライズド出力におけるコンテンツの意味的整合性を保ちながら、詳細なスタイルパターンをどのように保持できるか？
• RQ3 反復的最適化やスタイル固有の学習なしに、マルチスケールのスタイル適応を効果的に実現できるか？
• RQ4 特徴分布の一致と局所的パターンの回収が、スタイル化品質に与える影響は何か？
• RQ5 従来のフォワードパス型および最適化ベースの手法と比較して、提案手法の効率性と視覚的品質はどのように差異を示すか？

主な発見

• Avatar-Netは、WCT、AdaIN、Style-Swapなどの手法を上回る、ゼロショットスタイル変換における最先端の視覚的品質を達成し、知覚的品質とパターン忠実度の両面で優れている。
• 複雑なスタイル、たとえば筆圧や円形パターンですら、コンテンツ構造を保持した視覚的に妥当なスタイライズド画像を生成する。
• 1回のフォワードパスでリアルタイムのスタイル化を実現し、Gatysらの最適化ベース手法に比べて推論速度で顕著に優れている。
• 動画スタイル化においても安定した性能を示し、WCTでよく見られる時間的フレイクアウトやコンテンツ歪みを回避する。
• パッチサンプリングによる計算コスト削減により、さらに効率性が向上し、品質損失は最小限に抑えられる。
• 特徴の混合によるスタイル補間、マルチスタイルブレンド、調整可能なスタイル化強度といった柔軟な応用が可能である。