[論文レビュー] Texture Synthesis Through Convolutional Neural Networks and Spectrum Constraints

Gang Liu, Yann Gousseau+1 more|arXiv (Cornell University)|May 4, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 25

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）特徴量とフーリエスペクトル制約を組み合わせることで、一貫性のある大規模構造を有するリアルなテクスチャを生成する新規なテクスチャ合成手法を提案する。CNN損失関数にスペクトル制約を統合することで、微細なディテールを保持しつつ、レンガ壁やタイル模様のような準周期的パターンの規則性を向上させ、追加の計算コストをかけずに最先端の結果を達成する。

ABSTRACT

This paper presents a significant improvement for the synthesis of texture images using convolutional neural networks (CNNs), making use of constraints on the Fourier spectrum of the results. More precisely, the texture synthesis is regarded as a constrained optimization problem, with constraints conditioning both the Fourier spectrum and statistical features learned by CNNs. In contrast with existing methods, the presented method inherits from previous CNN approaches the ability to depict local structures and fine scale details, and at the same time yields coherent large scale structures, even in the case of quasi-periodic images. This is done at no extra computational cost. Synthesis experiments on various images show a clear improvement compared to a recent state-of-the art method relying on CNN constraints only.

研究の動機と目的

• CNNベースのテクスチャ合成が、レンガ壁やタイル模様のような準周期的テクスチャにおいて大規模な規則性を保つことの制限を解消すること。
• 局所的なディテールは妥当に生成するが、グローバルな構造的一致性を維持できない既存のCNNオンative手法の改善。
• CNN最適化フレームワークにフーリエスペクトル制約を統合するが、計算複雑性を増加させないこと。
• 例示画像のパッチをそのままでコピーするのを避けるが、微細なディテールと大規模な組織構造の両方を保持する真正に新しいテクスチャの合成を可能にすること。

提案手法

• 本手法は、CNN特徴統計とフーリエスペクトル制約を組み合わせた制約付き最適化問題としてテクスチャ合成を定式化する。
• Gatysら（2016）の手法に従い、事前学習済みVGG-19の層からの特徴マップの相関行列をCNNベースの制約として用いる。
• スペクトル制約は、生成画像のフーリエスペクトルと例示画像のスペクトルとの距離に基づく損失関数により導入され、逆フーリエ変換を用いて計算される。
• 総損失関数は、CNN損失とスペクトル損失の重み付き和として定義される：$\mathcal{L} = \mathcal{L}_{CNN} + \beta \mathcal{L}_{spe}$、ここで$\beta = 10^5$。
• スペクトル損失の勾配は、$\Delta_{spe} = \hat{I} - \tilde{I}$として計算され、ここで$\tilde{I}$はターゲットスペクトルの逆フーリエ変換である。
• 生成画像の最適化にはL-BFGSアルゴリズムが用いられ、CNN成分とスペクトル成分からの勾配が統合される。

実験結果

リサーチクエスチョン

• RQ1 フーリエスペクトル制約は、特に準周期的テクスチャにおいて、CNNベースのテクスチャ合成のグローバル構造的一致性を向上させ得るか？
• RQ2 スペクトル制約の追加が、CNNが保持する局所的テクスチャディテールの品質を低下させるか？
• RQ3 CNN最適化パイプライン内にスペクトル制約を統合することは、実行時間の増加なしに計算的に可能か？
• RQ4 本手法は、知覚的品質と構造的忠実度の観点から、最先端のCNNオンリーメソッドと比較して優れているか？
• RQ5 本手法は、複雑で周期的でないテクスチャにも一般化可能であり、存在する規則性を改善できるか？

主な発見

• 提案手法は、CNN部が保持する微細スケールのディテールと局所的構造をそのままに保ちつつ、レンガ壁やタイル模様のような準周期的テクスチャにおける大規模構造的一致性を顕著に向上させた。
• [14]のCNNオンリーベースラインと比較して、チェッカーボード、レンガ壁、窓のある建物の画像において、より規則的かつ構造的な結果が得られ、グローバルな組織のずれが減少した。
• CNNオンリーメソッドがすでに良好に動作するテクスチャにおいても、スペクトル制約が結果を劣化させないため、ロバストで相互運用可能であることが示された。
• 計算効率が維持されており、1回の合成実験が4コアCPUで約15分で実行可能である。これは、CNN推論に比べてFFT計算のコストが無視できるほど小さいためである。
• Zelligeタイルのような複雑な装飾模様においても、グローバルなパターンの一貫性が向上したが、極めて不規則な構造では局所的な不具合が残存する可能性がある。
• 極めて複雑なテクスチャの失敗事例においても、本手法は依然として構造的な出力を生成するが、繊細な小スケール要素を完全に再現することはできない。