[論文レビュー] AesPA-Net: Aesthetic Pattern-Aware Style Transfer Networks

Kibeom Hong, Seogkyu Jeon+7 more|arXiv (Cornell University)|Jul 19, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

AesPA-Net は、スタイルパターンの繰り返し頻度を定量化し、それを用いてグローバルおよびローカルなスタイル特徴をキャリブレーションすることで、注目メカニズムに基づくスタイル化を向上させる、革新的なアート的パターンに注意を払うスタイル転送フレームワークを導入する。自己教師付き再構成タスクとピクセル単位のスタイル損失を採用し、アーティファクトを低減するとともに、意味的対応を向上させ、多様な芸術的スタイルにおいて、スタイルの忠実度とコンテンツ保持の両面で最先端の結果を達成する。

ABSTRACT

To deliver the artistic expression of the target style, recent studies exploit the attention mechanism owing to its ability to map the local patches of the style image to the corresponding patches of the content image. However, because of the low semantic correspondence between arbitrary content and artworks, the attention module repeatedly abuses specific local patches from the style image, resulting in disharmonious and evident repetitive artifacts. To overcome this limitation and accomplish impeccable artistic style transfer, we focus on enhancing the attention mechanism and capturing the rhythm of patterns that organize the style. In this paper, we introduce a novel metric, namely pattern repeatability, that quantifies the repetition of patterns in the style image. Based on the pattern repeatability, we propose Aesthetic Pattern-Aware style transfer Networks (AesPA-Net) that discover the sweet spot of local and global style expressions. In addition, we propose a novel self-supervisory task to encourage the attention mechanism to learn precise and meaningful semantic correspondence. Lastly, we introduce the patch-wise style loss to transfer the elaborate rhythm of local patterns. Through qualitative and quantitative evaluations, we verify the reliability of the proposed pattern repeatability that aligns with human perception, and demonstrate the superiority of the proposed framework.

研究の動機と目的

• スタイル画像から繰り返しの高い局所的ピクセル領域に注目メカニズムが過剰に集中することで生じる不協和なアーティファクトを是正すること。
• 新規の指標である「パターン繰り返し度」として定義される、ピクセル間の類似度と画像内ピクセルの類似度の比を用いて、スタイル画像内の局所的パターンのリズムと繰り返し頻度を定量化すること。
• パターン繰り返し度に基づいてグローバルおよびローカルなスタイル表現のバランスを取る統合フレームワークを設計し、より正確で芸術的なスタイル化を実現すること。
• 自己教師付き再構成タスクを導入することで、注目モジュールの学習を改善し、より広範な意味的対応を促進すること。
• パターン繰り返し度から導かれる最適なピクセルサイズに基づいて、標準的なスタイル損失をピクセル単位の損失に置き換えることで、スタイル転送を精緻化すること。

提案手法

• 局所的パターンの繰り返し頻度を定量化するため、新規の指標「パターン繰り返し度」として、ピクセル間類似度と画像内ピクセル類似度の比を定義する。
• 注目ベースのモジュールとグローバル統計ベースのモジュールからの特徴を、パターン繰り返し度スコアをゲートとして用いて、アダプティブに特徴を統合するスタイル化変換器を提案する。
• 拡張処理を施した入力と元の入力を特徴レベルで類似度最大化する自己教師付き再構成タスクを設計し、注目モジュールがより意味的かつ広範な意味的対応を学習できるように促進する。
• 標準的なグラム行列ベースのスタイル損失を、パターン繰り返し度によって特定された最小繰り返しユニットのサイズに基づいて計算されるピクセル単位のスタイル損失に置き換える。
• 最小繰り返しピクセル（$\bar{I}^s_m$）を用いて、スタイルのグローバルなリズムを保持するユニットスタイル表現 $\mathcal{G}(\phi_l(\bar{I}^s_m))$ を計算する。
• 複数の層からのコンテンツ特徴およびスタイル化特徴を統合するマルチスケール特徴マッチング戦略を採用し、コンテンツの忠実度を維持しながらスタイル表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 パターン繰り返し度は、人間の美的繰り返しの認識と整合する、芸術的スタイルのグローバルリズムを信頼できる代理指標として機能するか？
• RQ2 パターン繰り返し度を用いて注目ベースおよびグローバル統計ベースのスタイル化をキャリブレーションすることで、芸術的スタイル転送の品質と多様性がどのように向上するか？
• RQ3 自己教師付き再構成タスクは、任意のコンテンツ-スタイルペアにおいて、注目メカニズムが意味的対応を学習する能力をどの程度向上させるか？
• RQ4 最小繰り返しユニットに従ってガイドされるピクセル単位のスタイル損失は、ホワリュレーションを低減し、筆圧やストライプなどの繊細なテクスチャパターンの転送を改善するか？
• RQ5 提案されたフレームワークは、定性的および定量的評価の両面で、最先端の注目ベースおよびグローバル統計ベースの手法を上回る性能を示すか？

主な発見

• AesPA-Net はスタイル転送において最先端の性能を達成し、スタイル損失とコンテンツ忠実度の両指標で、5つの注目ベース手法および2つのグローバル統計ベース手法を上回った。
• 提案されたパターン繰り返し度指標は、ユーザースタディーと知覚的品質との定量的整合性により、人間の認識と強く相関していることが確認された。
• 参照画像とスタイル化画像のパターン繰り返し度のL1距離がAesPA-Netによって最小化されており、グローバルスタイルリズムの正確な転送が実現されていることが示された。
• アブレーションスタディーにより、自己教師付きタスク、スタイル化変換器、ピクセル単位のスタイル損失の各コンポonentが、アーティファクト低減およびテクスチャ忠実度向上に顕著な寄与をしていることが確認された。
• 512×512解像度において、AesPA-Net はSOTA手法と同等の推論速度を維持し、実用的でリアルタイムのスタイル転送を可能にした。
• 定性的な結果から、点描法、鉛筆スケッチ、ストライプテクスチャなど、多様で複雑なスタイルに対しても一貫したアーティファクトのないスタイル化が可能であり、従来手法が失敗する状況でも安定した性能を示した。