[論文レビュー] Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses

Eric Risser, Pierre Wilmot+1 more|arXiv (Cornell University)|Jan 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 201

ひとこと要約

本論文は neural texture synthesis および style transfer を安定化させるための histogram losses を導入し、マルチスケールフレームワーク内で品質向上・収束の高速化・新しいユーザー制御を実現するとともに、自動パラメータ調整を可能にする。

ABSTRACT

Recently, methods have been proposed that perform texture synthesis and style transfer by using convolutional neural networks (e.g. Gatys et al. [2015,2016]). These methods are exciting because they can in some cases create results with state-of-the-art quality. However, in this paper, we show these methods also have limitations in texture quality, stability, requisite parameter tuning, and lack of user controls. This paper presents a multiscale synthesis pipeline based on convolutional neural networks that ameliorates these issues. We first give a mathematical explanation of the source of instabilities in many previous approaches. We then improve these instabilities by using histogram losses to synthesize textures that better statistically match the exemplar. We also show how to integrate localized style losses in our multiscale framework. These losses can improve the quality of large features, improve the separation of content and style, and offer artistic controls such as paint by numbers. We demonstrate that our approach offers improved quality, convergence in fewer iterations, and more stability over the optimization.

研究の動機と目的

• Gram-matrix-based losses が引き起こすニューラルテクスチャ合成とスタイル転送の不安定性とアーチファクトに対処する。
• 全ての活性化ヒストグラムを保持することによって、合成品質と収束速度を向上させる。
• マルチスケール合成フレームワーク内で、芸術性と空間的に局所化された制御（paint-by-numbers）を可能にする。
• 自動パラメータ調整を通じて、画像ごとの手動パラメータ調整の必要性を減らすまたはなくす。

提案手法

• Gram-matrix based losses を、活性化分布にマッチする特徴ごとの histogram losses で補強する。
• スケール間の品質と安定性を向上させるために、マルチスケール（ピラミッド状）合成フレームワークを使用する。
• painting-by-numbers マスクを介して局所化された losses を導入し、領域特定のスタイル転送とテクスチャ合成を可能にする。
• 結果を滑らかにし、視覚品質を向上させるために total variation loss を組み込む。
• 最適化中に損失の重みを適用させるための、自動的で勾配ベースのパラメータ調整スキームを開発する。

実験結果

リサーチクエスチョン

• RQ1 Histogram losses を組み込むことは、Gram-only アプローチと比較して neural texture synthesis と style transfer を安定化させるか？
• RQ2 局所化された（paint-by-numbers）loss は、品質を犠牲にすることなく細かな芸術的制御を提供できるか？
• RQ3 マルチスケール合成は大規模特徴の転送を改善し、アーチファクトを減らすか？
• RQ4 自動パラメータ調整は、結果を維持または改善しつつ、画像ごとの手動チューニングの必要性を排除できるか？

主な発見

• Histogram losses は不安定性とゴースティングを低減し、収束を加速する。
• 局所化された losses は色や特徴の制御を可能にし、大規模特徴の再現性を向上させ、paint-by-numbers スタイル転送を可能にする。
• マルチスケールピラミッド合成は粗い特徴の適合性を改善し、CNNノイズアーティファクトを減らす。
• 自動パラメータ調整は画像ごとの手動調整を排除し、デフォルトパラメータで競争力のある結果をもたらす。
• Gram + histogram losses を content および TV losses と組み合わせると、Gram-only baselines より高品質でより安定した結果を得られる。