[論文レビュー] Learning FRAME Models Using CNN Filters for Knowledge Visualization

Yang Lu, Song‐Chun Zhu+1 more|arXiv (Cornell University)|Sep 28, 2015

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 1

ひとこと要約

本稿では、バイナリ潜在変数を用いたエキスパートの積モデルとしての生成フレームワーク、FRAMEを提案する。このフレームワークは、事前に学習された畳み込みニューラルネットワーク（CNN）フィルタを用いて、自然なシーンパターンをモデル化する。EMを用いた学習プロセスの解釈により、リアルなテクスチャおよびオブジェクトの生成が可能となり、各学習済みモデルはより上位の層における新しいCNNユニットに対応する。これにより、エンドツーエンドの生成的CNNアーキテクチャ学習が可能となる。

ABSTRACT

The convolutional neural network (ConvNet or CNN) has proven to be very successful in many tasks such as those in computer vision. In this conceptual paper, we study the generative perspective of the discriminative CNN. In particular, we propose to learn the generative FRAME (Filters, Random field, And Maximum Entropy) model using the highly expressive filters pre-learned by the CNN at the convolutional layers. We show that the learning algorithm can generate realistic and rich object and texture patterns in natural scenes. We explain that each learned model corresponds to a new CNN unit at a layer above the layer of filters employed by the model. We further show that it is possible to learn a new layer of CNN units using a generative CNN model, which is a product of experts model, and the learning algorithm admits an EM interpretation with binary latent variables.

研究の動機と目的

• 判別的CNNの生成的潜在能力を探索し、その学習済みフィルタを生成的モデリングに再利用すること。
• CNNフィルタ、ランダムフィールド、および最大エントロピー原理を統合したFRAMEモデルの開発。
• 各学習済みFRAMEモデルが、より深い層における新しい解釈可能なCNNユニットに対応することを示すこと。
• バイナリ潜在変数を用いた生成的エキスパートの積モデルにより、新しいCNN層のエンドツーエンド学習を可能にすること。

提案手法

• FRAMEモデルは、事前に学習されたCNNフィルタを事前分布として用い、空間的依存性をモデル化するためのマルコフ確率場を組み合わせて構築される。
• 生成モデルはエキスパートの積として定式化され、各エキスパートはフィルタに対応し、学習済み特徴パターンとの整合性を強制する。
• データ内の隠れた構造をモデル化するためにバイナリ潜在変数が導入され、確率的推論が可能になる。
• 学習アルゴリズムはEM手順として定式化され、Eステップでは潜在変数の事後分布が推論され、Mステップではモデルパラメータが更新される。
• 各FRAMEモデルがより深いCNN層における新しいユニットとして機能する階層的学習が可能になる。
• フレームワークは、学習済みフィルタからリアルなオブジェクトおよびテクスチャパターンを生成することで、知識の可視化を支援する。

実験結果

リサーチクエスチョン

• RQ1 事前に学習されたCNNフィルタは、自然シーンの構造的生成モデルを構築するために効果的に再利用可能か？
• RQ2 CNNフィルタに基づくエキスパートの積モデルは、リアルなテクスチャおよびオブジェクトパターンをどのように生成するか？
• RQ3 学習済みFRAMEモデルとより深いCNN層の構造の間にはどのような関係があるか？
• RQ4 バイナリ潜在変数を用いたEMアルゴリズムは、このような生成モデルの学習に効果的に適用可能か？
• RQ5 生成的FRAMEモデルは、パターン合成を通じてどのように知識の可視化を可能にするか？

主な発見

• FRAMEモデルは、事前に学習されたCNNフィルタのみを用いて、自然シーンにおけるリアルで多様なオブジェクトおよびテクスチャパターンを効果的に生成する。
• 各訓練済みFRAMEモデルは、より上位の層における新しい解釈可能なCNNユニットに対応しており、階層的特徴学習が可能になる。
• バイナリ潜在変数を用いたEMベースの学習アルゴリズムは安定に収束し、効果的な推論をサポートする。
• エキスパートの積の定式化により、視覚的パターンにおける複雑な空間的依存性の柔軟なモデリングが可能になる。
• フレームワークは、再訓練を伴わずに、判別的CNN特徴を生成的知識可視化に活用できることを示している。