[論文レビュー] Wasserstein Style Transfer

Youssef Mroueh|arXiv (Cornell University)|May 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 8

ひとこと要約

本稿では、エンコーダ/デコーダフレームワーク内でガウス型最適輸送を用いたワッサーシュタイン風景転送手法を提案する。スタイルの混合と補間は、特徴空間内のガウス測度のワッサーシュタイン重心を通じて達成される。この手法により、滑らかで幾何学的に意味のあるスタイル補間が可能となり、AdaINなどのベースライン手法に比べて微細なスタイル的特徴をよりよく捉える。性能は、測地線距離（ワッサーシュタイン対フィッシャー＝ラオ）の選択に応じて変化する。

ABSTRACT

We propose Gaussian optimal transport for Image style transfer in an Encoder/Decoder framework. Optimal transport for Gaussian measures has closed forms Monge mappings from source to target distributions. Moreover interpolates between a content and a style image can be seen as geodesics in the Wasserstein Geometry. Using this insight, we show how to mix different target styles , using Wasserstein barycenter of Gaussian measures. Since Gaussians are closed under Wasserstein barycenter, this allows us a simple style transfer and style mixing and interpolation. Moreover we show how mixing different styles can be achieved using other geodesic metrics between gaussians such as the Fisher Rao metric, while the transport of the content to the new interpolate style is still performed with Gaussian OT maps. Our simple methodology allows to generate new stylized content interpolating between many artistic styles. The metric used in the interpolation results in different stylizations.

研究の動機と目的

• 既存の風景転送手法が単一スタイルへの制限や補間時の微細なスタイル的特徴の捉え損ないを抱えるという限界を是正すること。
• 特徴分布がガウス分布であると仮定したもとで、一般的な正規化層（例：IN, AdaIN, WCT）と最適輸送写像との間の関係を形式化すること。
• ガウス分布の空間におけるワッサーシュタイン幾何学における測地線距離を用いた非線形なスタイル補間を検討し、特徴空間内の線形補間を改善すること。
• 共変分散上での異なる基準距離（例：ワッサーシュタイン、フィッシャー＝ラオ）が、混合芸術的スタイルの質と特徴に与える影響を調査すること。
• ガウス型最適輸送が反復的最適化の代替として閉形式で効率的な選択肢を提供することを示し、高速な推論と高品質な結果を実現すること。

提案手法

• 画像を深層畳み込みニューラルネットワーク（CNN）の特徴空間へマッピングし、再構成するエンコーダ/デコーダフレームワークを用い、空間的特徴分布を経験的測度として扱う。
• 特徴分布が概ねガウス分布に近いと仮定し、ガウス型最適輸送（GOT）を用いて、コンテンツからターゲットスタイル分布への閉形式のモンジュ写像を計算する。
• ガウス測度のワッサーシュタイン重心を用いて、特徴空間内で複数のスタイル画像を補間することで、新たな混合スタイルを定義する。
• ワッサーシュタイン幾何学における他の測地線距離（例：フィッシャー＝ラオ距離）を用いて、ガウス分布の空間内での代替的補間経路を探索する。
• 複数の解像度で、コンテンツから補間されたスタイルへの輸送写像を適用し、復元処理を段階的に実行することで、粗いから細かいスタイル変換を実現する。
• ガウス測度がワッサーシュタイン重心に関して閉じていることを利用し、最適化を伴わずに正確かつ効率的に補間されたスタイルを計算可能にする。

実験結果

リサーチクエスチョン

• RQ1 ガウス型最適輸送写像を用いて、深層特徴空間における効率的で閉形式の風景転送を定義できるか？
• RQ2 ガウス測度のワッサーシュタイン重心を用いることで、複数の芸術的スタイル間で意味的で視覚的に整合性のあるスタイル混合が可能になるか？
• RQ3 測地線距離（例：ワッサーシュタイン対フィッシャー＝ラオ）の選択が、補間されたスタイルの視覚的品質と特徴に与える影響は何か？
• RQ4 IN、CIN、AdaIN、WCTなどの一般的な正規化層が、ガウス分布の仮定のもとで最適輸送写像をどの程度近似できるか？
• RQ5 ガウス分布のワッサーシュタイン空間における幾何学的補間は、複雑なスタイル的特徴を捉える点で、線形または対角的近似を上回るか？

主な発見

• 提案手法は、閉形式のガウス型最適輸送写像を用いることで、複数の芸術的スタイル間で滑らかな補間を実現する高品質な風景転送を達成する。
• ワッサーシュタイン重心補間はスタイル間の滑らかな遷移を生み出すが、フィッシャー＝ラオ重心はストローク構造や色の変化をよりよく保持する。
• 特に複雑なテクスチャーや色の勾配において、AdaINベースのベースラインに比べて微細なスタイル的特徴をよりよく捉える。
• ワッサーシュタイン距離とフィッシャー＝ラオ距離を用いた測地線補間は、視覚的に明確に異なるが整合性のある新しいスタイルを生み出し、下位の距離の選択がスタイル変換に与える影響を示している。
• IN、CIN、AdaIN、WCTなどの正規化層がガウス型最適輸送写像を近似していることが示され、それらの動作の新たな理論的解釈が得られた。
• 本フレームワークは、マルチスタイル補間を可能にする高速でフォワードのみの風景転送を実現し、既存手法と比較してスタイル混合の品質において最先端の結果を達成した。