[論文レビュー] A Closed-form Solution to Universal Style Transfer

Ming Lu, Hao Zhao+4 more|arXiv (Cornell University)|Jun 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 10

ひとこと要約

本稿では、特徴変換を最適輸送問題として定式化することにより、普遍的スタイル転送の閉形式解である最適スタイル転送（OST）を提案する。最適輸送フレームワークにコンテンツ損失最小化を統合することで、反復的または学習ベースの手法とは異なり理論的裏付けがあり、解析的に解ける代替手法として、AdaIN や WCT よりも優れた構造的保存性と視覚的に魅力的な結果を達成する。

ABSTRACT

Universal style transfer tries to explicitly minimize the losses in feature space, thus it does not require training on any pre-defined styles. It usually uses different layers of VGG network as the encoders and trains several decoders to invert the features into images. Therefore, the effect of style transfer is achieved by feature transform. Although plenty of methods have been proposed, a theoretical analysis of feature transform is still missing. In this paper, we first propose a novel interpretation by treating it as the optimal transport problem. Then, we demonstrate the relations of our formulation with former works like Adaptive Instance Normalization (AdaIN) and Whitening and Coloring Transform (WCT). Finally, we derive a closed-form solution named Optimal Style Transfer (OST) under our formulation by additionally considering the content loss of Gatys. Comparatively, our solution can preserve better structure and achieve visually pleasing results. It is simple yet effective and we demonstrate its advantages both quantitatively and qualitatively. Besides, we hope our theoretical analysis can inspire future works in neural style transfer. Code is available at https://github.com/lu-m13/OptimalStyleTransfer.

研究の動機と目的

• 普遍的スタイル転送における特徴変換に関して、理論的分析が不足している点を是正すること。
• AdaIN や WCT といった既存手法を共通の最適輸送フレームワークに統合すること。
• スタイル損失（Gatys）とコンテンツ損失の両方を最小化する閉形式解を導出することにより、構造的保存性を向上させること。
• 特定のスタイルに事前学習を行わず、反復的でない理論的根拠に基づいた普遍的スタイル転送のための方法を提供すること。
• 厳密な理論的定式化を通じて、今後のニューラルスタイル転送分野の研究を刺激すること。

提案手法

• コンテンツ特徴とスタイル特徴の多変量正規分布間の最適輸送問題として、普遍的スタイル転送を定式化する。
• 特徴分布間の線形変換を仮定し、この仮定の下で閉形式解を導出する。
• 構造的忠実性を保証するために、コンテンツ損失最小化（Gatys）を最適輸送フレームワークに統合する。
• スタイル転送とコンテンツ保存の両方を最適にバランスさせる唯一の閉形式解として、OST を導出する。
• エンコーダーとして複数スケールの VGG 特徴を用い、変換された特徴を画像に再構築するデコーダーを学習する。
• 最適輸送制約によって直交行列正則化を暗黙的に適用し、一意性と安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック的または学習ベースの手法を超えて、普遍的スタイル転送における特徴変換を理論的に形式化する方法は何か？
• RQ2 AdaIN や WCT といった既存手法と統一的な最適輸送フレームワークとの間の数学的関係は何か？
• RQ3 スタイル損失とコンテンツ損失の両方を最小化する閉形式解を、普遍的スタイル転送に対して導出可能か？
• RQ4 最適輸送定式化にコンテンツ損失を統合することで、既存手法よりも優れた構造的保存性が達成されるか？
• RQ5 実際の応用において、多変量正規分布の仮定を超えて、最適輸送定式化はどの程度一般化可能か？

主な発見

• ユーザースタディにおいて、OST は WCT（2.67）や AdaIN（2.00）よりも低い平均コンテンツ損失（1.05）を達成しており、構造的保存性の優位性を示している。
• OST は比較対象のすべての手法の中で最高の平均ユーザースタディスコア（3.07）を記録し、優れた視覚的品質を示している。
• OST は WCT（15.85 対 15.9）と同等のスタイル損失を維持しながら、コンテンツ損失を顕著に低減しており、スタイルとコンテンツのバランスの向上を示している。
• 図 6 における α=1 の結果から、多様なコンテンツとスタイルのペアに対して優れた一般化性能を示しており、アーチファクトなしの視覚的に魅力的な結果が得られている。
• スタイル間の線形補間（図 7）では滑らかな遷移が確認され、本手法の安定性と一貫性が裏付けられている。
• 改善は見られるものの、フレームごとの動画スタイル転送では依然として時間的ジッタリングが見られ、時間的整合性に限界があることが示唆されている。