[論文レビュー] Consistent Style Transfer

Xuan Luo, Zhen Han+2 more|arXiv (Cornell University)|Jan 6, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本稿では、注意メカニズムと空間に配慮した補間を用いて、コンテンツおよびスタイル特徴多様体を段階的に整合させる、一貫性のある任意のスタイル転送のための新規フレームワークであるプログレッシブアテンションマニホールドアライメント（PAMA）を提案する。段階的な対応関係の改善と視覚的アーチファクトの低減により、512pxの画像で101FPSの高速な性能を達成し、最先端のスタイル化品質を実現する。

ABSTRACT

Recently, attentional arbitrary style transfer methods have been proposed to achieve fine-grained results, which manipulates the point-wise similarity between content and style features for stylization. However, the attention mechanism based on feature points ignores the feature multi-manifold distribution, where each feature manifold corresponds to a semantic region in the image. Consequently, a uniform content semantic region is rendered by highly different patterns from various style semantic regions, producing inconsistent stylization results with visual artifacts. We proposed the progressive attentional manifold alignment (PAMA) to alleviate this problem, which repeatedly applies attention operations and space-aware interpolations. The attention operation rearranges style features dynamically according to the spatial distribution of content features. This makes the content and style manifolds correspond on the feature map. Then the space-aware interpolation adaptively interpolates between the corresponding content and style manifolds to increase their similarity. By gradually aligning the content manifolds to style manifolds, the proposed PAMA achieves state-of-the-art performance while avoiding the inconsistency of semantic regions. Codes are available at https://github.com/computer-vision2022/PAMA.

研究の動機と目的

• コンテンツとスタイルの特徴多様体間の整合性の欠如を是正する。特に、一様な意味的領域が、異なる領域からの不一致なスタイルパターンによって歪められる問題に焦点を当てる。
• ポイントワイドなアテンションメカニズムが意味的領域全体の複数の多様体分布を捉えきれないという限界を克服する。
• 意味的領域にまたがるコンテンツとスタイルの特徴多様体をアライメントすることで、スタイル化出力における構造的一致性を向上させる。
• コンテンツ構造を保持しながら、視覚的アーチファクトを最小限に抑えた、リアルタイムで細分化されたスタイル転送を実現する。
• 段階的な訓練フレームワークを設計し、適応的損失関数を用いて多様体対応関係を段階的に強化する。

提案手法

• コンテンツ特徴の空間的分布に基づいて、動的にスタイル特徴を再配置する反復的アテンション操作を適用し、関連するコンテンツとスタイルの多様体をアライメントする。
• 空間的文脈を用いて、対応するコンテンツとスタイルの多様体を適応的に統合する空間に配慮した補間を導入し、構造的詳細を保持する。
• 複数段階のマニホールドアライメントを実行し、各段階でコンテンツとスタイル特徴多様体間の対応関係を精緻化する。
• 自己類似性損失、色ヒストグラム損失、REMD損失、モーメント損失を組み合わせた段階的損失関数を用い、段階的アライメントをガイドする。
• 画像再構成損失を維持することで共有特徴空間を確保し、訓練の安定性とアライメント忠実度を向上させる。
• 学習可能なアテンションカーネルを活用し、各点の類似度マップを計算することで、多様体構造を尊重した特徴変換をガイドする。

実験結果

リサーチクエスチョン

• RQ1 反復的マニホールドアライメントにより、コンテンツ特徴とスタイル特徴間の意味的領域の整合性が向上し、任意のスタイル転送における一貫性が改善されるか？
• RQ2 空間に配慮した補間は、特にエッジ部や一様な領域で構造的保存性を向上させるか？
• RQ3 段階的マルチステージアライメントは、単一ステージまたはグローバルアライメントと比較して、視覚的アーチファクトをどれほど低減できるか？
• RQ4 自己類似性損失と色ヒストグラム損失のバランスは、スタイル化出力における一貫性と色の忠実度をどの程度調整できるか？
• RQ5 提案されたフレームワークは、最先端のスタイル化品質を維持しながらリアルタイム推論を達成できるか？

主な発見

• PAMAは、Tesla V100 GPUを用いて512pxの画像で101FPSの推論速度を達成し、リアルタイム性能を実証した。
• 段階的マニホールドアライメント戦略は、領域の一貫性を顕著に向上させ、3段階アライメントが単一または2段階アーキテクチャと比較して、はっきりと均一な結果をもたらした。
• 空間に配慮した補間は、エッジ構造の保持と局所的歪みの低減に効果的であり、特に顕著な領域や一様なコンテンツ領域で顕著であった。
• 自己類似性損失と色ヒストグラム損失のバランスは極めて重要である：高い自己類似性損失は構造的一致性を向上させるが、高い色ヒストグラム損失は色の忠実度を向上させるが、色ブロックアーチファクトの発生リスクを高める。
• アブレーションスタディにより、PAMAは単一ステージアライメントやグローバル変換手法を上回り、意味的整合性とスタイル化品質の両方を維持していることが確認された。
• 関連する多様体間の一貫した特徴マッピングにより、スカイのような一様な領域における混沌としたスタイルパターンが低減された。