[論文レビュー] Diversified Patch-based Style Transfer with Shifted Style Normalization.

Zhizhong Wang, Lei Zhao+5 more|arXiv (Cornell University)|Jan 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 4

ひとこと要約

本稿では、高活性化パッチを用いてスタイルスイッチングを誘導することで、パッチベーススタイル変換における多様性を向上させる、新しい手法であるシフトドスタイル正規化（SSN）を提案する。正規化統計に制御されたシフトを導入することにより、SSNは既存のパッチベース手法が複数の多様で高品質なスタイル変換出力を効率的に生成できるようにし、多様性と速度の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Gram-based and patch-based approaches are two important research lines of image style transfer. Recent diversified Gram-based methods have been able to produce multiple and diverse reasonable solutions for the same content and style inputs. However, as another popular research interest, the diversity of patch-based methods remains challenging due to the stereotyped style swapping process based on nearest patch matching. To resolve this dilemma, in this paper, we dive into the core style swapping process of patch-based style transfer and explore possible ways to diversify it. What stands out is an operation called shifted style normalization (SSN), the most effective and efficient way to empower existing patch-based methods to generate diverse results for arbitrary styles. The key insight is to use an important intuition that neural patches with higher activation values could contribute more to diversity. Theoretical analyses and extensive experiments are conducted to demonstrate the effectiveness of our method, and compared with other possible options and state-of-the-art algorithms, it shows remarkable superiority in both diversity and efficiency.

研究の動機と目的

• パッチベーススタイル変換において、剛性のある最近傍パッチマッチングにより、通常はタイプライツトな結果しか得られないという多様性の欠如に対処する。
• 多様なコンテンツおよびスタイル入力があっても、出力が一様に偏るという既存のパッチベース手法の限界を克服する。
• 既存のパッチベースモデルのコアアーキテクチャを変更せずに、軽量で即座に統合可能なソリューションを提供する。
• 高活性化パッチを多様性の駆動要因として用いる理論的かつ実証的基盤を確立する。

提案手法

• 神経パッチの活性化大きさに基づいて統計をシフトすることで、特徴マップの統計を変更する正規化手法として、シフトドスタイル正規化（SSN）を導入する。
• 多様性の主な寄与要因として高活性化パッチを特定し、その統計をスタイル変換プロセスの誘導に用いる。
• スタイル変換の推論段階でSSNを適用し、標準的なインスタンス正規化を置き換えたり補完したりすることで、多様なスタイル出力を可能にする。
• 再トレーニングを必要とせず、既存のパッチベースフレームワークにスムーズに統合可能な微分可能で効率的なメカニズムを設計する。
• 活性化強度に基づく正規化のシフトが、多様なスタイル表現の探索を促進することを理論的に正当化する。
• 複数回の順伝播においてさらなる多様性を向上させるために、シフトされた正規化パラメータの確率的サンプリング戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 根本的なモデルアーキテクチャを変更せずに、パッチベーススタイル変換で顕著な多様性を達成できるか？
• RQ2 ニューラルパッチの活性化大きさが、生成されたスタイル変換画像の多様性にどのように影響するか？
• RQ3 正規化統計を制御的にモodulateすることで、より多様なスタイル変換結果を誘導する原理的な方法はあるか？
• RQ4 SSNは、既存のデータ拡張や最適化に基づく多様性手法と比較して、多様性と効率性の両面で優れているか？
• RQ5 SSNは、さまざまなパッチベーススタイル変換モデルに普遍的に適用可能であり、一貫した改善をもたらすか？

主な発見

• SSNはパッチベーススタイル変換における多様性を顕著に向上させ、同じコンテンツおよびスタイル入力からも複数の視覚的に異なる結果を生成できる。
• 追加のトレーニングや最適化を一切行わずに、最先端のグラムベースおよびパッチベース手法と比較して優れた多様性を達成する。
• 広範なアブレーションスタディにより、高活性化パッチが多様性の主な駆動要因であることが確認され、SSNの核心的直観が裏付けられる。
• SSNは高い効率性を維持しており、計算オーバーヘッドが最小限に抑えられ、リアルタイムおよびデプロイメント環境に適している。
• 理論的分析により、SSNは正規化に制御された分散を導入し、多様なスタイル表現の探索を可能にすることが示された。
• 実証的結果から、SSNは多様性指標および視覚的品質の両面で、代替の正規化に基づく多様化戦略を上回ることが確認された。