[論文レビュー] Optimal Textures: Fast and Robust Texture Synthesis and Style Transfer through Optimal Transport

Eric Risser|arXiv (Cornell University)|Oct 27, 2020

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、自己符号化器のボトルネック層における深層ニューラル活性化特徴の一次統計を最適輸送を用いて一致させる手法を提案する。反復的かつスライスされたヒストグラムマッチングによりN次元確率密度関数を整列することで、逆誤差伝搬を必要とせず、インタラクティブな性能を実現するとともに、スタイル転送、テクスチャ混合、ユーザー主導の合成を統合的に処理する高品質な結果を得る。

ABSTRACT

This paper presents a light-weight, high-quality texture synthesis algorithm that easily generalizes to other applications such as style transfer and texture mixing. We represent texture features through the deep neural activation vectors within the bottleneck layer of an auto-encoder and frame the texture synthesis problem as optimal transport between the activation values of the image being synthesized and those of an exemplar texture. To find this optimal transport mapping, we utilize an N-dimensional probability density function (PDF) transfer process that iterates over multiple random rotations of the PDF basis and matches the 1D marginal distributions across each dimension. This achieves quality and flexibility on par with expensive back-propagation based neural texture synthesis methods, but with the potential of achieving interactive rates. We demonstrate that first order statistics offer a more robust representation for texture than the second order statistics that are used today. We propose an extension of this algorithm that reduces the dimensionality of the neural feature space. We utilize a multi-scale coarse-to-fine synthesis pyramid to capture and preserve larger image features; unify color and style transfer under one framework; and further augment this system with a novel masking scheme that re-samples and re-weights the feature distribution for user-guided texture painting and targeted style transfer.

研究の動機と目的

• 逆誤差伝搬に基づくニューラルテクスチャ合成の限界を解消し、リアルタイム利用に不適切な遅さを克服する。
• 既存手法が二次統計（例：グラム行列）に依存する点を克服し、構造的なテクスチャ特徴をより安定して保持できるようにする。
• スタイル転送、テクスチャ混合、逆テクスチャ合成といった複数のテクスチャ合成タスクに一般化可能な統合フレームワークを構築する。
• 特徴分布を直接操作する新しいマスク化と再重み付けスキームを導入し、ユーザー主導のテクスチャ合成を実現する。
• 最適輸送を用いて特徴空間で直接処理することで、最小限の計算コストで高視覚的品質を達成する。

提案手法

• 事前学習済みの自己符号化器のボトルネック層における深層活性化ベクトルとしてテクスチャ特徴を表現し、カスタムトレーニングの必要を回避する。
• ノイズ画像の特徴分布とエクジンプルテクスチャの分布との間の最適輸送問題としてテクスチャ合成を定式化する。
• N次元確率密度関数（PDF）変換を、次元ごとの1次元マージナル分布をランダムな回転に基づくスライスで反復的に一致させることで実装する。
• 主成分分析（PCA）を用いて特徴次元を低次元化し、本質的なテクスチャ統計を保持しながら処理を高速化する。
• 大規模な画像構造を保持し、知覚的品質を向上させるためのマルチスケールな粗〜細かい合成ピラミッドを構築する。
• ユーザーが描いたマスクに基づき、特徴分布を再サンプリングおよび再重み付けするマスクスキームを導入し、ガイド付きテクスチャペイントや標的スタイル転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラム行列のような二次統計よりも、深層ニューラル特徴の一次統計が、構造的なテクスチャ特徴をより安定的かつ効果的に表現できるか？
• RQ2 特徴分布間の最適輸送が、逆誤差伝搬や微調整を必要とせず、高品質なテクスチャ合成を可能にするか？
• RQ3 最適輸送に基づく単一の統合フレームワークが、スタイル転送、テクスチャ混合、逆合成といった複数のテクスチャ合成タスクに一般化可能か？
• RQ4 特徴分布の操作を通じて、ユーザーのコントロールを合成プロセスに効果的に統合できるか？
• RQ5 提案手法が、高コストな最適化ベースのアプローチと同等の視覚的品質を維持しながら、インタラクティブな性能を達成できるか？

主な発見

• PCAを用いることで、1024×1024の画像に対して23秒で高品質なテクスチャ合成が可能であり、逆誤差伝搬ベースの手法の数十分に比べて顕著に高速化される。
• WCTや他のグラム行列ベース手法との比較により、一次統計が構造的なテクスチャ特徴をより良く保持し、ブレンドアーチファクトを低減することが実証された。
• 最適輸送フレームワークにより、スタイルとカラーの転送が単一のアルゴリズムで統合され、カラーとスタイルのコンポonentを別々に処理する必要がなくなる。
• 最適輸送によるテクスチャ混合は、従来手法に比べてより均一的で知覚的に説得力のある補間を実現する。
• 特徴の再サンプリングと再重み付けによるユーザー主導の合成により、テクスチャ配置やスタイル適用に対する正確な制御が可能となり、アルゴリズムの変更は最小限に抑えられる。
• WCTで一般的に見られる特徴のぼやけやブレンドアーチファクトを、複数のスライスによる特徴分布の詳細な把握によって低減した。