[論文レビュー] Demystifying Neural Style Transfer

Yanghao Li, Naiyan Wang+2 more|arXiv (Cornell University)|Jan 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 88

ひとこと要約

本論文はニューラルスタイル転送をドメイン適応問題として再定義し、グラム行列を一致させることが特定の MMD の最小化に相当することを示し、代替の分布整合手法を探究する。

ABSTRACT

Neural Style Transfer has recently demonstrated very exciting results which catches eyes in both academia and industry. Despite the amazing results, the principle of neural style transfer, especially why the Gram matrices could represent style remains unclear. In this paper, we propose a novel interpretation of neural style transfer by treating it as a domain adaptation problem. Specifically, we theoretically show that matching the Gram matrices of feature maps is equivalent to minimize the Maximum Mean Discrepancy (MMD) with the second order polynomial kernel. Thus, we argue that the essence of neural style transfer is to match the feature distributions between the style images and the generated images. To further support our standpoint, we experiment with several other distribution alignment methods, and achieve appealing results. We believe this novel interpretation connects these two important research fields, and could enlighten future researches.

研究の動機と目的

• グラム行列がなぜニューラルスタイル転送においてスタイルを捉えるのか理解を促す。
• ニューラルスタイル転送と最大平均差異（Maximum Mean Discrepancy、MMD）との理論的な関連を提案する。
• グラム行列の一致を超えるスタイル転送のための代替的な分布整合手法を探求する。
• 他のMMDベースおよびBNベースのスタイル転送手法の実証的有効性を示す。

提案手法

• グラム行列の一致が二次多項式カーネルを用いるMMDに対応することを示す。
• スタイル損失を、特徴分布間のMMDベースの差異として表現するように再定式化する。
• MMDで異なるカーネル（線形、多項式、ガウシアン）を適用し、BN統計量の一致も組み合わせてスタイル転送を拡張する。
• 特徴マップの各位置をサンプルとして扱い、特徴マップ間での分布整合を可能にする。
• VGG-19と標準的なコンテンツ/スタイル損失を用いた実装詳細を、反復最適化を伴って提供する。
• 異なるNST手法の融合を実証し、スタイルを混合する。

実験結果

リサーチクエスチョン

• RQ1 NSTにおけるグラム行列の一致は、ある種のMMDと同等なのか？
• RQ2 ニューラルスタイル転送を、コンテンツ画像とスタイル画像間の分布整合問題としてどのように解釈できるか？
• RQ3 代替の分布整合手法（異なるカーネル、BN統計量）は妥当なスタイル転送結果を生み出すか？
• RQ4 スタイル転送の際に異なるMMDカーネルを使用する場合の計算量とスタイライズのトレードオフはどうなるか？
• RQ5 複数のスタイル転送手法を融合してブレンドされたスタイライズを生み出すことは可能か？

主な発見

• NSTにおけるグラム行列の一致は、二次多項式カーネルを用いるMMDを最小化することとして再定式化できる。
• スタイル情報はCNN層の特徴分布で表現され、NSTは分布整合プロセスである。
• 異なる分布整合手法（線形、多項式、ガウシアンMMD; BN統計量）は視覚的に妥当なスタイル転送を生み出す。
• 線形カーネルMMDは計算量を抑えつつ同等の結果を達成する。
• BN統計量の一致は、チャネルごとの統計を揃える、代替で単純なスタイル損失を提供する。
• 異なるNST手法の融合は、手法間の補間によってスタイルをブレンドすることができる。