[論文レビュー] AesUST: Towards Aesthetic-Enhanced Universal Style Transfer

Zhizhong Wang, Zhanjie Zhang+5 more|arXiv (Cornell University)|Aug 27, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

AesUSTは、独自の美的ディスクリミネーターと美的注意型スタイルアテンション（AesSA）モジュールを用いて、学習された人間が喜ぶ美的特徴をスタイル変換に統合する、画期的な美的向上型ユニバーサルスタイル変換フレームワークを提案する。これにより、視覚的調和性と現実性が著しく向上する。実験およびユーザースタディの結果、AesUSTは人間が描いた絵画と区別がつかない結果を生成し、周辺の最先端手法を上回る知覚的品質と美的現実性を達成した。

ABSTRACT

Recent studies have shown remarkable success in universal style transfer which transfers arbitrary visual styles to content images. However, existing approaches suffer from the aesthetic-unrealistic problem that introduces disharmonious patterns and evident artifacts, making the results easy to spot from real paintings. To address this limitation, we propose AesUST, a novel Aesthetic-enhanced Universal Style Transfer approach that can generate aesthetically more realistic and pleasing results for arbitrary styles. Specifically, our approach introduces an aesthetic discriminator to learn the universal human-delightful aesthetic features from a large corpus of artist-created paintings. Then, the aesthetic features are incorporated to enhance the style transfer process via a novel Aesthetic-aware Style-Attention (AesSA) module. Such an AesSA module enables our AesUST to efficiently and flexibly integrate the style patterns according to the global aesthetic channel distribution of the style image and the local semantic spatial distribution of the content image. Moreover, we also develop a new two-stage transfer training strategy with two aesthetic regularizations to train our model more effectively, further improving stylization performance. Extensive experiments and user studies demonstrate that our approach synthesizes aesthetically more harmonious and realistic results than state of the art, greatly narrowing the disparity with real artist-created paintings. Our code is available at https://github.com/EndyWon/AesUST.

研究の動機と目的

• ユニバーサルスタイル変換における美的現実性の欠如問題に対処する。具体的には、生成画像に調和の取れないパターンやアーチファクトが生じる問題を解決すること。
• 芸術家が制作した絵画から得られる普遍的な人間が喜ぶ美的特徴を統合することで、スタイル化された画像の現実性と視覚的調和性を向上させること。
• コンテンツの保持とスタイル変換のバランスを保ちながら、美的一貫性を確保する手法を開発すること。
• 二段階の戦略と二重の美的正則化を用いて、モデルを効果的に訓練すること。
• AIが生成するスタイル化された画像と、人間が制作した実際の芸術作品との間の知覚的ギャップを縮小すること。

提案手法

• 大規模な芸術家による絵画のコーパスで訓練された美的ディスクリミネーターを導入し、普遍的な人間が喜ぶ美的特徴を抽出する。
• スタイル画像のグローバルな美的分布とコンテンツ画像のローカルな意味的空間的分布に基づいて、動的にスタイルパターンを統合するための美的注意型スタイルアテンション（AesSA）モジュールを提案する。
• 二段階の訓練戦略を採用する：第1段階ではコンテンツ再構成とスタイル再構成を用いてジェネレーターを事前訓練し、第2段階では敵対的損失と美的正則化を用いて微調整する。
• 二重の美的正則化を適用する：一つはコンテンツ構造の保持とスタイル変換品質の維持を目的とし、もう一つは知覚的なスタイルパターンの忠実度を向上させることを目的とする。
• 敵対的損失を用いて、実際の絵画と生成画像を区別できるようにし、アーチファクトのない現実的な出力を促進する。
• 美的ディスクリミネーターを単なる識別器としてではなく、スタイル統合をガイドする特徴抽出器としても活用する。

Figure 2. Overview of our proposed AesUST. Note that we apply a two-stage transfer training strategy with a transfer learning fashion: (1) At stage I, the aesthetic discriminator only acts as the discriminator, and we pre-train the generator (AesSA module and decoder) using VGG features only. (2) At

実験結果

リサーチクエスチョン

• RQ1 学習された美的ディスクリミネーターは、芸術家が制作した絵画から普遍的な人間が喜ぶ特徴を的確に捉え、スタイル変換をガイドできるか？
• RQ2 美的特徴はどのようにスタイル変換プロセスに統合され、視覚的調和性と現実性が向上するか？
• RQ3 美的正則化を組み込んだ二段階の訓練戦略は、エンドツーエンド訓練に比べてより優れたスタイル化性能を達成するか？
• RQ4 AesUSTは、AIが生成するスタイル化された画像と実際の芸術家による作品との間の知覚的ギャップをどの程度縮小できるか？
• RQ5 AesSAモジュールは、グローバルな美的一貫性とローカルな意味的忠実度の間で柔軟にバランスを取れるか？

主な発見

• ユーザースタディにおいてAesUSTは87.4％の欺瞞スコアを達成し、実際の絵画（89.2％）に最も近い結果を示し、実物の芸術作品と区別がつかないことを示した。
• A/B好みテストではAesUSTが68.7％の投票を獲得し、AdaIN（52.3％）やLST（55.1％）といった最先端手法を大きく上回るユーザーライクスを示した。
• アブレーションスタディの結果、敵対的損失を削除すると深刻なアーチファクトと調和の取れないパターンが発生し、その現実性向上における役割が裏付けられた。
• 最初の美的正則化（L_AR1）を削除するとコンテンツ保持とスタイル変換の両方が劣化するが、第二の正則化（L_AR2）を削除するとスタイル忠実度が低下するため、両者の必要性が確認された。
• 二段階の訓練戦略は不可欠である：第1段階の事前訓練により効果的なスタイル統合が可能となり、第2段階での美的ガイド付き微調整により最終的な品質が向上した。
• AesUSTは512×512の画像に対して約25 FPSのリアルタイム動作を達成し、AdaIN や LST といった最先端手法と同等の効率性を有している。

Figure 3. Aesthetic-aware style-attention (AesSA) module. $F_{c}$ , $F_{s}$ , and $F_{a}$ are content, style, and aesthetic features, respectively. “ $Norm$ ” denotes the mean-variance channel-wise normalization.