[論文レビュー] S2WAT: Image Style Transfer via Hierarchical Vision Transformer using Strips Window Attention

Chiyu Zhang, Xu, Xiaogang+3 more|arXiv (Cornell University)|Oct 22, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

S2WATは、局所的およびグローバル特徴モデリングのバランスをとるためにストリップ窓注意（SpW Attention）を用いた階層的ビジョントランスフォーマーを提案する。複数の窓形状を動的「Attn Merge」機構で統合することで、コンテンツ漏れを低減し、ベンチマークデータセット上で最先端の性能を達成した。

ABSTRACT

Transformer's recent integration into style transfer leverages its proficiency in establishing long-range dependencies, albeit at the expense of attenuated local modeling. This paper introduces Strips Window Attention Transformer (S2WAT), a novel hierarchical vision transformer designed for style transfer. S2WAT employs attention computation in diverse window shapes to capture both short- and long-range dependencies. The merged dependencies utilize the "Attn Merge" strategy, which adaptively determines spatial weights based on their relevance to the target. Extensive experiments on representative datasets show the proposed method's effectiveness compared to state-of-the-art (SOTA) transformer-based and other approaches. The code and pre-trained models are available at https://github.com/AlienZhang1996/S2WAT.

研究の動機と目的

• 窓ベースの注意機構がグリッド状のアーティファクトと弱い局所モデリングを引き起こすトランスフォーマーに基づくスタイル転送における局所性の問題に対処すること。
• スタイル転送ネットワークにおける短距離（局所的）および長距離（グローバル）特徴モデリングのバランスを改善すること。
• 特に同じスタイルを繰り返し適用する際の反復的スタイル転送におけるコンテンツ漏れを低減すること。
• ターゲットに応じた関連性に基づき、多様な窓形状からの注意出力を動的に重み付け統合するメカニズムを構築すること。

提案手法

• 水平ストリップ、垂直ストリップ、および正方形窓の3種類の窓タイプを用いて自己注意を計算するストリップ窓注意（SpW Attention）を導入し、長距離および短距離の依存関係を捉える。
• 入力特徴と注意出力の間の空間相関スコアを計算することで、動的重みを割り当てる新しい「Attn Merge」戦略を採用。
• パッチエンコーディングとマルチスケール特徴抽出を組み合わせた階層的トランスフォーマー・アーキテクチャを採用し、複数の受容場の効率的モデリングを実現。
• エンコーダブロックにSpW Attention機構を適用することで、コンテンツ詳細を保持しつつ、芸術的スタイルを効果的に転送。
• 相対的位置バイアスを用いたマルチヘッド自己注意により、特徴変換中に空間構造を維持。
• 知覚損失およびスタイル損失を用いてエンドツーエンドでモデルを訓練し、適応的Attn Merge機構によって最適化を安定化。

実験結果

リサーチクエスチョン

• RQ1 複数形状の窓注意を備えた階層的ビジョントランスフォーマーは、画像スタイル転送における局所的およびグローバル特徴モデリングの両方を向上させることができるか？
• RQ2 提案された「Attn Merge」機構は、連結や加算といった静的統合戦略を上回る性能を示すか？
• RQ3 反復的スタイル転送におけるコンテンツ漏れの低減に関して、S2WATはSOTA手法を上回っているか？
• RQ4 標準の正方形窓と比較して、ストリップ形状の窓を用いることでグリッド状のアーティファクトはどの程度低減されるか？
• RQ5 ユーザースタディにおいて、多様なコンテンツとスタイルの組み合わせに対して、モデルは十分に一般化できるか？

主な発見

• 大規模ユーザースタディにおいてS2WATは25.4%の支持票を獲得し、StyTr2（23.6%）、ArtFlow（13.3%）、MCC（19.4%）、SANet（18.3%）を上回る評価スタイル品質を得た。
• 「Attn Merge」機構は、加算や連結統合戦略を著しく上回り、加算ベースの出力は著しく汚損し、連結では重要なスタイル情報が失われる傾向にあった。
• 20ステップにわたる反復的スタイル転送において、S2WATはコンテンツ詳細の損失が最小限に抑えられ、CNNベースおよびSDMベースのモデルがぼやけや劣化を示すのを上回った。
• 可視化によるアブレーションでは、水平または垂直ストリップ窓のみを用いることで方向性のアーティファクトが生じたが、Attn Mergeによる統合によりアーティファクトのない高品質な結果が得られた。
• コンテンツ漏れを効果的に低減し、繰り返しのスタイル転送においても微細なコンテンツ詳細を保持する結果が得られた。
• 公開データセットを用いた広範な実験により、S2WATは定量的指標および定性的評価の両面で最先端の性能を確認した。