[論文レビュー] Diversified Arbitrary Style Transfer via Deep Feature Perturbation

Zhizhong Wang, Lei Zhao+6 more|arXiv (Cornell University)|Sep 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 9

ひとこと要約

本稿では、深層特徴マップに直交するランダムノイズを適用することで、任意のスタイル転送において多様性を向上させる学習不要な手法であるDeep Feature Perturbation（DFP）を提案する。スタイルのグラム行列の不変性を保つことで、元のスタイルを維持しつつ、出力の多様性を大幅に向上させる。WCTベースの手法に統合することで、品質の劣化を伴わずに結果の多様性が著しく向上し、スケーラビリティおよび一般化性能において学習ベースの代替手法を上回る。

ABSTRACT

Image style transfer is an underdetermined problem, where a large number of solutions can satisfy the same constraint (the content and style). Although there have been some efforts to improve the diversity of style transfer by introducing an alternative diversity loss, they have restricted generalization, limited diversity and poor scalability. In this paper, we tackle these limitations and propose a simple yet effective method for diversified arbitrary style transfer. The key idea of our method is an operation called deep feature perturbation (DFP), which uses an orthogonal random noise matrix to perturb the deep image feature maps while keeping the original style information unchanged. Our DFP operation can be easily integrated into many existing WCT (whitening and coloring transform)-based methods, and empower them to generate diverse results for arbitrary styles. Experimental results demonstrate that this learning-free and universal method can greatly increase the diversity while maintaining the quality of stylization.

研究の動機と目的

• 最適化の制約や固定ネットワークの挙動に起因し、従来のスタイル転送手法がしばしば類似した出力に収束するという多様性の欠如を解消すること。
• 従来の学習ベースの多様性向上手法が抱える制限、すなわち新しいスタイルへの一般化性の制限、多様性の大きさの限界、スケーラビリティの低さを克服すること。
• 再トレーニングやアーキテクチャ変更を必要とせず、普遍的かつプラグアンドプレイで動作するメカニズムを用いて、任意のスタイル転送で高多様性を実現すること。
• 同じコンテンツとスタイル入力に対して、視覚的に明確に異なる出力を生成しつつも、スタイリゼーションの品質を維持すること。

提案手法

• 深層特徴マップに直交するランダムノイズ行列をホワイトニング後に適用することで、元のスタイルのグラム行列を保つDeep Feature Perturbation（DFP）を導入する。
• ホワイトニングとカラーリング変換（WCT）フレームワークを活用して、コンテンツ特徴とスタイル特徴を分離し、スタイル表現を変更せずにコンテンツ固有の特徴空間での摂動を可能にする。
• 摂動後の特徴が元の特徴と同一のグラム行列を持つことを保証することで、スタイリゼーション出力が同じスタイルを共有しつつも、テクスチャーや構造、外観が異なることを実現する。
• 既存のWCTベースの手法（例：[19]、[26]、[20]）にDFPをプラグインモジュールとして統合し、コアネットワークの変更や再トレーニングなしに多様な出力を得られるようにする。
• 標準正規分布または一様分布からサンプリングされた直交ノイズ行列を用い、実験的結果から直交性が多様性の鍵であることが示された。サンプリング分布は重要ではない。
• DFPは推論時のみに適用されるため、完全に学習不要であり、リアルタイムで動作するスタイルに依存しないスタイル転送パイプラインと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングやスタイル固有の学習を必要とせず、任意のスタイル転送で高多様性を達成できるか？
• RQ2 グラム行列を維持したまま深層特徴を摂動させることで、意味的で視覚的に明確に異なるスタイリゼーション出力が得られるか？
• RQ3 スケーラビリティ、一般化性能、多様性の大きさという観点から、DFPは学習ベースの多様性手法と比べてどのように差をつけるか？
• RQ4 アーキテクチャ変更やトレーニングの再設計なしに、異なるWCTベースのスタイル転送手法に普遍的に適用可能か？
• RQ5 特にフォトリアリスティックおよびセマンティックレベルのスタイル転送において、DFPは多様性を高める一方でスタイリゼーション品質を維持できるか？

主な発見

• DFPはスタイリゼーション出力の多様性を顕著に向上させ、ベースラインのWCT手法と比較して平均LPIPSおよびピxls単位の距離が著しく上昇した。
• DFPを組み込んだ手法（例：[19]+DFP）は、学習ベースの手法[18]や[30]と比較してはるかに高い多様性スコアを達成しており、後者は僅かな視覚的差異にとどまる。
• アーティスティック、セマンティックレベル、フォトリアリスティックスタイル転送を含む複数のWCTベースの手法にわたり、多様性向上効果が一貫して得られ、広範な適用可能性を示した。
• 高いノイズ強度であっても、DFPは高品質なスタイリゼーションを維持しており、ランダムノイズベースラインで見られるコンテンツ劣化やアーチファクトの増幅を回避した。
• 多様性を実現する鍵となる要因はノイズ行列の直交性であり、サンプリング分布ではない。直交ノイズはスタイルの歪みを生じさせずに特徴空間を摂動させる。
• [20]におけるスムージング処理により細部が減少するが、それでもDFPは多様性を向上させた。ただし、[19]ほど顕著な向上は得られず、品質と変動の間にはトレードオフがあることが示唆された。