[論文レビュー] Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks

Chuan Li, Michael Wand|arXiv (Cornell University)|Apr 15, 2016

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 17

ひとこと要約

本稿では、1つの例からマルコフ的パッチ統計を学習することで、リアルタイムなテクスチャ合成を可能にする、事前計算されたフィードフォワード・ストライド付き畳み込みネットワークを用いたマルコフ連鎖生成対抗ネットワーク（MGANs）を提案する。この手法により、0.25Mピクセルの画像を25Hzで生成可能であり、従来のニューラルテクスチャ合成手法よりも500倍以上高速でありながら、敵対的訓練によって高い視覚的品質を維持する。

ABSTRACT

This paper proposes Markovian Generative Adversarial Networks (MGANs), a method for training generative neural networks for efficient texture synthesis. While deep neural network approaches have recently demonstrated remarkable results in terms of synthesis quality, they still come at considerable computational costs (minutes of run-time for low-res images). Our paper addresses this efficiency issue. Instead of a numerical deconvolution in previous work, we precompute a feed-forward, strided convolutional network that captures the feature statistics of Markovian patches and is able to directly generate outputs of arbitrary dimensions. Such network can directly decode brown noise to realistic texture, or photos to artistic paintings. With adversarial training, we obtain quality comparable to recent neural texture synthesis methods. As no optimization is required any longer at generation time, our run-time performance (0.25M pixel images at 25Hz) surpasses previous neural texture synthesizers by a significant margin (at least 500 times faster). We apply this idea to texture synthesis, style transfer, and video stylization.

研究の動機と目的

• 1枚の画像あたり数分にわたる最適化を要する深層ニューラルネットワークベースのテクスチャ合成における高い計算コストを低減すること。
• 生成時における反復的最適化を排除することで、ニューラルテクスチャ合成のリアルタイム推論を実現すること。
• 最適化ベースの最先端手法と同等の高い視覚的品質を維持しつつ、著しく高速化すること。
• 1つのスタイルごとに1つの事前計算済みモデルを用いることで、テクスチャ合成、スタイル移行、動画スタイル化への応用が可能なフレームワークを開発すること。
• 事前学習済みのVGGネットワークを用いて、同じコンテンツの異なる表現間のマッピングを学習することで、コンテンツおよびスタイルに不変性を実現すること。

提案手法

• 事前学習済みのVGG-19ネットワークのマルコフ的パッチの特徴統計を逆転するフィードフォワード・ストライド付き畳み込みネットワークを事前計算する。
• 最適化ベースの手法と同等の画像品質を維持するため、敵対的訓練を用いてネットワークを訓練する。
• 反復的最適化なしに、直接現実的なテクスチャを復元できるように、ブラウンノイズを入力として使用する。
• 強力なスタイル移行を実現するため、VGG-19ネットワークをReLU4_1まで活用して高レベルで不変な特徴を抽出する。
• 事前計算済みのネットワークを用いて、ブレンド処理や追加最適化なしに任意解像度の画像生成が可能である。
• 1つのテクスチャ例と多様なImageNet画像を用いて、一般化可能でスタイル固有の特徴マッピングを学習する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練をマルコフ的設定に効果的に適用することで、テクスチャ合成のための高速でフィードフォワード型の生成モデルを学習できるか？
• RQ2 事前計算済みのストライド付き畳み込みネットワークは、ニューラルテクスチャ合成において、反復的デコンボリューションベースの最適化をどの程度代替できるか？
• RQ3 事前計算済みの生成モデルは、速度と視覚的品質の観点で最適化ベースの手法と比較してどの程度の性能を示すか？
• RQ4 このモデルは、異なるコンテンツ画像に一般化可能でありつつ、ターゲットのテクスチャスタイルを保持できるか？
• RQ5 この手法は、顔の特徴や複雑なレイアウトなどの非テクスチャ的で意味論的なコンテンツを処理する際に、どのような制限を有するか？

主な発見

• MGAN手法は、NVIDIA TitanXで512×512の画像を40ms（25Hz）で生成可能であり、Liら[21]の手法よりも500倍高速で、Gatysら[8]の手法よりも5000倍以上高速である。
• この手法は最適化ベースのアプローチと同等の視覚的品質を達成しており、大規模データからの学習により、例のテクスチャとより一貫性のある結果が得られる。
• 512×512の画像におけるメモリ使用量は約2.5GBであり、モデルパラメータ総数は70MB（VGG-19ネットワークをReLU4_1まで含む）である。
• 本手法は、認識可能な特徴や複雑なコンテンツを持つテクスチャに対して最も優れた性能を示すが、空やボケた領域のような平坦または静止した領域では困難を示す。
• 複雑なコンテンツにおける一貫性あるテクスチャの保持において、ガウスベースのモデル[8, 32]を上回るが、グローバルな色の分布においてはずれが生じる可能性がある。
• 顔の特徴の移行に失敗するのは、意味論的理解が欠けているためであり、非テクスチャ的で高レベルの意味的コンテンツを処理する際の制限を示している。