[論文レビュー] Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer

Shuai Yang, Liming Jiang+2 more|arXiv (Cornell University)|Mar 24, 2022

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

この論文では、参照画像からのアートスタイルを柔軟に制御できる二重スタイルパスを導入することで、1024×1024の高解像度の例示ベースのポートレートスタイル転送を実現する新規生成モデル、DualStyleGANを提案する。内在的スタイルパス（元の顔領域のスタイルを保持）と外在的スタイルパス（参照画像からのアーティスティックスタイルを柔軟に制御）の二重構造により、数百枚程度のスタイル画像のみで最先端のスタイル転送品質と多様性を達成。段階的微調整戦略により、分布シフトの安定化と効果的なスタイル変調が実現される。

ABSTRACT

Recent studies on StyleGAN show high performance on artistic portrait generation by transfer learning with limited data. In this paper, we explore more challenging exemplar-based high-resolution portrait style transfer by introducing a novel DualStyleGAN with flexible control of dual styles of the original face domain and the extended artistic portrait domain. Different from StyleGAN, DualStyleGAN provides a natural way of style transfer by characterizing the content and style of a portrait with an intrinsic style path and a new extrinsic style path, respectively. The delicately designed extrinsic style path enables our model to modulate both the color and complex structural styles hierarchically to precisely pastiche the style example. Furthermore, a novel progressive fine-tuning scheme is introduced to smoothly transform the generative space of the model to the target domain, even with the above modifications on the network architecture. Experiments demonstrate the superiority of DualStyleGAN over state-of-the-art methods in high-quality portrait style transfer and flexible style control.

研究の動機と目的

• 参照アートワークから色と複雑な構造的スタイルを正確に再現する高解像度（1024×1024）の例示ベースのポートレートスタイル転送を可能にすること。
• 従来のStyleGANベースの手法が外部アーティスティックスタイルに対する細かい柔軟な制御を欠いているという限界を是正すること。
• 元のStyleGANが実現する高品質な生成性能を維持しつつ、新たな芸術的ドメインへの転送を可能にする新しい生成アーキテクチャを設計すること。
• 訓練の安定性を高め、ターゲットスタイルドメインへの滑らかな分布シフトを実現するための段階的微調整戦略を開発すること。
• コンテンツと芸術的スタイルを別々に制御できるように、潜在空間で分離された内在的および外在的スタイルパスを用いた柔軟なスタイル制御を実現すること。

提案手法

• 二重スタイルパスアーキテクチャを導入：StyleGANで保持された内在的スタイルパス（コンテンツおよび元のドメインスタイルを処理）と、外部アーティスティックスタイルのモデリングと制御を目的とした新規の外在的スタイルパス。
• 畳み込み層への微調整効果を近似できるリーマン型に設計された外在的スタイルパスを採用し、効果的な構造的スタイル変調を実現。
• 外在的パスに階層的構造を導入：粗い解像度の層が顔の部品形状（例：口）を制御し、細かい解像度の層が色の変調を担当。
• 段階的微調整スキームを提案：簡単なスタイル転送タスクから始め、徐々に難易度を上げることで、生成空間への安定した適応と効果的な分布シフトを実現。
• モード崩壊の低減とスタイル多様性の向上を目的に、ペアド顔-ポートレートデータの生成のための顔スタイル除去手法を導入。
• 内在的および外在的スタイルコードの補間により柔軟なスタイルブレンドと保存を可能にし、外在的コードのスケーリングによりスタイル強度を調整可能に。

実験結果

リサーチクエスチョン

• RQ1 元の顔ドメインの品質と制御を維持しつつ、例示ベースのスタイル転送を可能にする生成モデルを拡張することは可能か？
• RQ2 参照アートワークからの構造的および色のスタイルを、高解像度ポートレート生成において効果的かつ階層的に変調することは可能か？
• RQ3 事前学習済みのStyleGANの生成品質を維持しつつ、新しい芸術的ドメインへの転送を可能にするために必要なアーキテクチャ的および訓練戦略的工夫は何か？
• RQ4 段階的微調整は、修正されたStyleGANアーキテクチャにおける訓練プロセスの安定化と滑らかな分布シフトを実現できるか？
• RQ5 潜在コードを用いてコンテンツと芸術的スタイルの柔軟かつ分離された制御を実現するにはどうすればよいか？

主な発見

• DualStyleGANは、1024×1024の高解像度の例示ベースのポートレートスタイル転送において最先端の性能を達成し、参照画像の色と構造的スタイルを正確に再現する高精細な模倣作品を生成する。
• 外在的スタイルパスにより、意味論的に階層的なスタイル変調が可能である：初期層が顔全体の形状に影響し、16×16層が顔の部品を強調し、32×32層がしわなどの局所的特徴を微調整。
• 段階的微調整は、成功したスタイル転送に不可欠である。直接学習では、特に後段階で複雑な外在的スタイルの転送に失敗する。
• 色の層を無効化するか、最終層で外在的コードを内在的コードに置き換えることで、色と構造の保存が可能となり、芸術的スタイルを維持しつつ写真のような結果が得られる。
• 内在的および外在的スタイルコードの補間により滑らかなスタイルブレンドが実現され、スタイル多様体の適切なカバーが示された。
• 未学習のスタイル（例：ピクサー、コミック、スラムダンク）にも一般化可能であり、妥当な結果を示すが、最適化がなければ性能はわずかに低下し、極端またはレアなスタイルではアーチファクトが発生する可能性がある。