[論文レビュー] Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer

Tianwei Lin, Zhuoqi Ma+7 more|arXiv (Cornell University)|Apr 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 10

ひとこと要約

本論文では、下書きと見直しのプロセスにインspiredされた、人間の絵の描き方を模倣した新規のフォワードスタイル転送手法LapStyleを提案する。Laplacianピラミッドネットワークを用い、低解像度でのグローバルスタイル転送に下書きネットワークを、多スケールのLaplacianフィルタードテクスチャを用いて残差の詳細を幻覚化する見直しネットワークを用いることで、512×512画像に対して110 fpsのリアルタイムで高品質なスタイル転送を実現し、グローバルおよびローカルパターンの両方を優れた保持を達成する。

ABSTRACT

Artistic style transfer aims at migrating the style from an example image to a content image. Currently, optimization-based methods have achieved great stylization quality, but expensive time cost restricts their practical applications. Meanwhile, feed-forward methods still fail to synthesize complex style, especially when holistic global and local patterns exist. Inspired by the common painting process of drawing a draft and revising the details, we introduce a novel feed-forward method named Laplacian Pyramid Network (LapStyle). LapStyle first transfers global style patterns in low-resolution via a Drafting Network. It then revises the local details in high-resolution via a Revision Network, which hallucinates a residual image according to the draft and the image textures extracted by Laplacian filtering. Higher resolution details can be easily generated by stacking Revision Networks with multiple Laplacian pyramid levels. The final stylized image is obtained by aggregating outputs of all pyramid levels. %We also introduce a patch discriminator to better learn local patterns adversarially. Experiments demonstrate that our method can synthesize high quality stylized images in real time, where holistic style patterns are properly transferred.

研究の動機と目的

• 既存のフォワードスタイル転送手法が、複雑なグローバルおよびローカルスタイルパターンを同時に保持する点での限界を克服すること。
• 最適化ベースの手法の高い推論コストを克服しつつ、高品質なスタイル転送を維持すること。
• スタイル転送をグローバルな下書きとローカルな見直しのフェーズに分離することで、人間の絵の描き方を模倣すること。
• 反復的最適化に依存せずに、リアルタイムかつ高解像度でのスタイル転送を可能にすること。

提案手法

• 本手法は二段階のプロセスを採用する。まず、浅い効率的なアーキテクチャを用いて、低解像度でグローバルなスタイルパターンを転送する下書きネットワークを実行する。
• 次に、下書きと多段階のLaplacianフィルタードコンテンツ画像特徴量に基づいて、残差画像を幻覚化することで高解像度のローカルディテールを生成する見直しネットワークを実行する。
• 見直しネットワークは複数のLaplacianピラミッドレベルで動作し、高周波数ディテールの段階的精錬を可能にする。
• 残差学習戦略を用い、見直しネットワークが下書きと最終的なスタイル化画像との差分を予測することで、訓練の安定性と制御性を向上させる。
• 見直しフェーズに浅いパッチ識別器を導入し、敵対的学習によってローカルテクスチャーや色のリアルさを向上させる。
• 最終的なスタイル化画像は、すべてのピラミッドレベルからの出力を統合することで生成され、グローバルな構造と洗練されたローカルディテールが組み合わされる。

実験結果

リサーチクエスチョン

• RQ1 フォワードスタイル転送手法は、複雑な芸術的スタイルにおいて、グローバルおよびローカルスタイルパターンの両方を効果的に保持できるか？
• RQ2 二段階の下書き・見直しフレームワークは、エンドツーエンドのフォワードネットワークに比べ、スタイル化品質およびディテール忠実度で優れているか？
• RQ3 Laplacianピラミッドに基づくマルチスケール特徴抽出は、グローバルな一貫性を維持しながら、スタイル転送におけるローカルディテール生成を向上させられるか？
• RQ4 最適化に依存しない手法で、高解像度（512×512）の出力に対してリアルタイム推論（例：110 fps）を達成できるか？

主な発見

• LapStyleは512×512画像に対して110 fpsのリアルタイム推論を達成し、最適化ベースの手法に比べて顕著に高速でありながら、高品質を維持する。
• アブレーションスタディにより、rEMD損失が、グローバルおよびローカル構造が共存する状況で複雑なスタイルパターンを保持するために不可欠であることが確認された。
• 自己類似性損失（$l_{ss}$）は、不自然またはノイズの多いスタイルアーティファクトを抑制し、視覚的な調和を向上させる。
• 知覚損失（$l_p$）はコンテンツ構造の保持に不可欠であり、その欠如によりコンテンツのアイデンティティが完全に消失する。
• 敵対的損失（$l_{adv}$）は、ローカルテクスチャーや色の分布を著しく向上させ、見直しディテールのリアルさを強化する。
• Laplacian差分画像上の残差予測による見直しプロセスは、直接RGB空間での精錬よりもより調和の取れた結果をもたらす。