[論文レビュー] Texture Synthesis Using Shallow Convolutional Networks with Random Filters

Ivan Ustyuzhaninov, Wieland Brendel+2 more|arXiv (Cornell University)|May 31, 2016

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 32

ひとこと要約

この論文は、ランダムで未学習のフィルタを備えた浅い畳み込みニューラルネットワーク（CNN）が、深く事前学習されたネットワークに基づく最先端手法と同等またはそれを上回る知覚的品質で自然なテクスチャを効果的にモデル化・合成できることを示している。単一の畳み込み層にランダムなフィルタを用い、特徴統計（グラム行列）を最適化することで、アーキテクチャを単純化し、教師あり学習の必要性を排除しながらも、高い知覚的忠実度を達成している。

ABSTRACT

Here we demonstrate that the feature space of random shallow convolutional neural networks (CNNs) can serve as a surprisingly good model of natural textures. Patches from the same texture are consistently classified as being more similar then patches from different textures. Samples synthesized from the model capture spatial correlations on scales much larger then the receptive field size, and sometimes even rival or surpass the perceptual quality of state of the art texture models (but show less variability). The current state of the art in parametric texture synthesis relies on the multi-layer feature space of deep CNNs that were trained on natural images. Our finding suggests that such optimized multi-layer feature spaces are not imperative for texture modeling. Instead, much simpler shallow and convolutional networks can serve as the basis for novel texture synthesis algorithms.

研究の動機と目的

• 浅く、未学習の畳み込みネットワークにランダムなフィルタを用いることで、効果的なテクスチャ合成モデルとして機能するかを調査すること。
• 高品質なテクスチャ合成に多層で事前学習された深層ネットワークが不可欠であるという一般的な仮説に挑戦すること。
• ランダムな特徴空間が、知覚的に説得力のあるテクスチャ生成に十分な空間的相関関係と統計的性質を捉えられるかを評価すること。
• 単純で最適化されていない特徴空間を用いた場合の、知覚的品質とテクスチャの多様性のトレードオフを調査すること。

提案手法

• ReLU活性化関数、ストライド1の畳み込み、空間次元を維持するゼロパディングを用いた単一層の畳み込みニューラルネットワークを採用する。
• フィルタは一様分布からランダムに初期化されるか、フーリエ基底関数、ImageNetのパッチのk-meansクラスタリング、自然画像パッチのPCAから導出される。
• テクスチャ合成は、ランダムネットワーク層の特徴活性化のグラム行列に一致するように生成画像を最適化することで実行される。
• 最適化には、特徴統計に基づく知覚的距離メトリクスが用いられ、グラム行列は厳密な制約ではなく、ソフトな制約として扱われる。
• 固定サイズ（11×11×3）とマルチスケール（3×3から55×55）のフィルタ、および異なる特徴マップ数（363から3267）の複数のフィルタ設定をテストする。
• 入力画像は、チャンネルごとの平均強度を差し引くことでDC成分を除去する前処理が施される。

実験結果

リサーチクエスチョン

• RQ1 ランダムで未学習のフィルタを備えた単一層畳み込みネットワークは、実際のテクスチャと知覚的に区別がつかないテクスチャを生成できるか？
• RQ2 深層ネットワークの階層的マルチレイヤー表現は、高品質なテクスチャ合成に不可欠であるか？
• RQ3 ランダムフィルタを用いた合成の知覚的品質は、深く事前学習されたネットワークに基づく最先端モデルと比べてどうか？
• RQ4 ランダム特徴空間は、テクスチャ内の長距離空間相関関係をどの程度保持しているか？
• RQ5 最適化手順は、単純な特徴空間で高品質な知覚的再現を達成するために果たす役割は何か？

主な発見

• ランダムなフィルタを備えた浅い畳み込みネットワークは、深く事前学習されたVGGネットワークに基づく最先端手法と同等またはそれを上回るテクスチャ合成品質を達成している。
• 受容 field サイズよりも大きなスケールでの空間的相関関係を効果的に捉えていることから、ランダム特徴空間に長距離構造が符号化されていることが示唆される。
• 人間の知覚評価において、訓練済みネットワークからの合成テクスチャに比べて、ランダムフィルタからの合成テクスチャがしばしば優れていることが判明し、特に参照テクスチャへの忠実度が高い。
• 訓練なしのランダムフィルタを用いることで高い知覚的類似度が達成されることから、深層特徴の教師あり学習が効果的なテクスチャモデリングに不可欠ではないことが示唆される。
• わずかな制約（グラム行列）でも高品質な結果が得られるが、知覚的品質は距離メトリクスの選択と最適化チューニングに強く依存することが判明した。
• 偶発的な証拠として、一部の参照テクスチャが合成中に正確に再構成されたことがあり、有限サイズの条件下では制約空間が正確な一致を許容する可能性があることが示唆された。