[論文レビュー] QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity

Siyu Huang, Jie An+3 more|arXiv (Cornell University)|Dec 20, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

QuantArtは、実際の芸術作品の分布のクラスターセンターデータに生成アートの潜在的特徴を一致させるためにベクトル量子化を用いる、視覚的忠実度を向上させる新しい画像スタイル変換フレームワークを提案する。スタイルガイド付きアテンションモジュールにより連続的および離散的潜在表現を統合することで、QuantArtは視覚的忠実度が最先端水準に達し、コンテンツおよびスタイルの保存性も維持する。

ABSTRACT

The mechanism of existing style transfer algorithms is by minimizing a hybrid loss function to push the generated image toward high similarities in both content and style. However, this type of approach cannot guarantee visual fidelity, i.e., the generated artworks should be indistinguishable from real ones. In this paper, we devise a new style transfer framework called QuantArt for high visual-fidelity stylization. QuantArt pushes the latent representation of the generated artwork toward the centroids of the real artwork distribution with vector quantization. By fusing the quantized and continuous latent representations, QuantArt allows flexible control over the generated artworks in terms of content preservation, style similarity, and visual fidelity. Experiments on various style transfer settings show that our QuantArt framework achieves significantly higher visual fidelity compared with the existing style transfer methods.

研究の動機と目的

• 既存のスタイル変換手法に見られる視覚的忠実度の欠如に取り組むこと。これらはしばしば本物の芸術作品と区別がつかない画像を生成できない。
• 視覚的忠実度を、スタイル類似度とコンテンツ保存性と直交する新たな評価次元として定義・測定すること。
• スタイル化された画像におけるコンテンツ保存性、スタイル類似性、視覚的忠実度の間で柔軟なトレードオフを可能にするフレームワークを開発すること。
• 生成された特徴を実際の芸術作品の分布の重心に近づけるために、ベクトル量子化を活用すること。
• 連続的および離散的潜在表現を併用する二重ブランチアーキテクチャ（連続的および量子化済み）を設計し、知覚的品質を損なわず、制御可能なスタイル変換を実現すること。

提案手法

• 実際の芸術作品特徴の離散的クラスターセンタ一を表現するため、ベクトル量子化によりグローバルな芸術作品コードブックを学習する。
• 別々のエンコーダーを用いて、コンテンツおよびスタイル特徴の両方に対してベクトル量子化を適用し、連続的特徴から離散的コードを生成する。
• スタイルガイド付きアテンション（SGA）モジュールを用いて、コンテンツ構造を保持したまま、スタイルコードをスタイル化された特徴マップに転送する。
• 復号化の前に、芸術作品コードブックを用いてスタイル化された特徴を再量子化することで、実際の芸術作品分布との整合性を確保する。
• 復号器の前に、コンテンツ特徴と統合された連続的および量子化済みスタイル化特徴を融合させ、出力品質に対する柔軟な制御を可能にする。
• LPIPS、グラム損失、FIDに基づく監視を組み合わせたハイブリッド損失を用いて、モデルを訓練することで、知覚的品質および分布整合性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 従来のスタイル変換手法と比較して、潜在的特徴のベクトル量子化が、生成されたスタイル化画像の視覚的忠実度を向上させることができるか？
• RQ2 連続的および離散的潜在表現の統合は、コンテンツ保存性、スタイル類似性、視覚的リアリズムのバランスにどのように影響するか？
• RQ3 画像スタイル変換における高い視覚的忠実度を達成するための最適なコードブックサイズと量子化戦略は何か？
• RQ4 提案されたQuantArtフレームワークは、視覚的忠実度を著しく向上させつつも、強いスタイル類似性を維持できるか？
• RQ5 人間の知覚テストにおいて、モデルは本物の芸術作品と区別がつかないスタイル化画像を生成できるか？

主な発見

• QuantArtはテストセットにおいて17.787のFréchet Inception Distance（FID）を達成し、ベースライン手法を著しく上回り、高い視覚的忠実度を示している。
• 人間の知覚テストでは、参加者が20問中平均10.31回しか本物の芸術作品を正しく特定できず、ほぼランダムな確率に近く、生成画像が本物のものとほとんど区別がつかないことを示している。
• アブレーションスタディの結果、スタイルガイド付きアテンションモジュールでの量子化を除去すると、FIDは17.787から18.757に上昇し、視覚的忠実度の向上に量子化が不可欠であることが確認された。
• コードサイズを16×16に設定した場合が最良のFID（17.787）を記録したが、8×8（小さい）や32×32（大きい）のパッチサイズでは性能が低下し、スタイリングに最適なパッチサイズが存在することが示された。
• SGAモジュールをStyTR2のデコーダーレイヤーに置き換えると、FIDは26.299に上昇し、提案されたSGA設計が高品質な出力を維持するために極めて重要であることが示された。
• 連続的および量子化済みブランチ間でエンコーダーを共有すると、FIDは35.830に急激に上昇し、表現品質を維持するために別々のエンコーダーが不可欠であることが証明された。