[論文レビュー] Texture Synthesis Using Convolutional Neural Networks

Leon A. Gatys, Alexander S. Ecker+1 more|arXiv (Cornell University)|May 27, 2015

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 425

ひとこと要約

本論文は、事前学習済み畳み込みニューラルネットワーク（VGG-19）の特徴表現を用いた、新しいパrametricなテクスチャ合成モデルを提案する。テクスチャは、複数の層における特徴マップのグラム行列に一致するようにノイズ画像を最適化することで生成される。この手法は、従来のパrametricモデルを上回る高品質で、人間の知覚に類似したテクスチャを生成する一方で、深層ネットワーク内の階層的特徴が、次第に明確な物体情報にエンコードされることを明らかにする。

ABSTRACT

Here we introduce a new model of natural textures based on the feature spaces of convolutional neural networks optimised for object recognition. Samples from the model are of high perceptual quality demonstrating the generative power of neural networks trained in a purely discriminative fashion. Within the model, textures are represented by the correlations between feature maps in several layers of the network. We show that across layers the texture representations increasingly capture the statistical properties of natural images while making object information more and more explicit. The model provides a new tool to generate stimuli for neuroscience and might offer insights into the deep representations learned by convolutional neural networks.

研究の動機と目的

• 従来の手法を上回る知覚的品質を実現する新しいパrametricテクスチャモデルの開発。
• 事前学習済みCNNの階層的特徴空間を活用し、テクスチャ表現と合成を実現すること。
• CNNの深層特徴が、テクスチャ統計と物体アイデンティティ情報の両方をどのようにエンコードするかの解明。
• 深層ネットワークの表現に基づいた刺激を生成することで、神経科学分野に新たなツールを提供すること。

提案手法

• 事前学習済みVGG-19ネットワークの複数の畳み込み層からの特徴マップのグラム行列を、テクスチャ統計の表現に用いる。
• テクスチャの合成は、選択された層において、元のテクスチャのグラム行列に一致するように、勾配降下法を用いてノイズ画像を最適化することで実行される。
• 損失関数は、グラム行列の差異に基づく層ごとの再構成誤差の重み付き和である。
• 畳み込み層のみを用いることで、空間的不変性を保持し、任意サイズのテクスチャの合成が可能になる。
• この手法は、CNNの階層的・非線形特徴抽出に依存しており、より深い層の特徴マップは、より複雑な統計的パターンを捉える。
• 最適化プロセスは反復的かつ微分可能であり、高精度なテクスチャ生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワーク特徴を用いて、知覚的にリアルなテクスチャを生成するパrametricテクスチャモデルを定義できるか？
• RQ2 CNN特徴空間におけるテクスチャの統計的表現は、ポルチラ＝シモンチェリのような従来のモデルと比べてどのように異なるか？
• RQ3 CNNの高層層は、テクスチャ統計をエンコードする一方で、物体アイデンティティをどの程度保持するか？
• RQ4 CNN特徴のグラム行列は、テクスチャ合成および分析のための定常的かつ不変な表現として機能できるか？

主な発見

• 提案手法は、非パrametric手法と同等の知覚的品質のテクスチャを生成し、従来のパrametricモデルを著しく上回る。
• 人間の知覚テストにおいて、合成されたテクスチャは実際のテクスチャと区別がつかないことが確認され、モデルの生成能力が裏付けられる。
• 複数の層にわたるグラム行列表現は、自然画像の次第に複雑な統計的性質を捉えており、より深い層ではより明確な物体アイデンティティがエンコードされている。
• 最終プーリング層のグラム行列からの線形デコードでは、トップ5正答率が87.7%に達し、元のネットワークの88.6%に非常に近い性能を示す。
• モデルは、空間的配置とは独立して物体アイデンティティ情報が特徴空間に保持されることを明らかにした。これは、CNNにおけるシフト同値性と整合的である。
• 計算コストは高いが、深層学習推論分野の進展により、将来的にスケーラブルになる可能性がある。