[論文レビュー] Learning FRAME Models Using CNN Filters

Yang Lu, Song‐Chun Zhu+1 more|arXiv (Cornell University)|Sep 28, 2015

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 26

ひとこと要約

本稿では、事前学習済みCNNフィルタを用いてFRAMEモデルを学習する生成フレームワークを提案する。これにより、物体およびテクスチャパターンの現実的な合成が可能になる。学習をラングジュアン動力学およびEMを用いたエントロピー最大化マッチングとして定式化することで、CNNユニットの形式的な生成的解釈を確立し、各学習済みFRAMEモデルが新たなCNNユニットに対応することを示す。これにより、階層的特徴の教師なし、ラベルフリーな学習が可能になる。

ABSTRACT

The convolutional neural network (ConvNet or CNN) has proven to be very successful in many tasks such as those in computer vision. In this conceptual paper, we study the generative perspective of the discriminative CNN. In particular, we propose to learn the generative FRAME (Filters, Random field, And Maximum Entropy) model using the highly expressive filters pre-learned by the CNN at the convolutional layers. We show that the learning algorithm can generate realistic and rich object and texture patterns in natural scenes. We explain that each learned model corresponds to a new CNN unit at a layer above the layer of filters employed by the model. We further show that it is possible to learn a new layer of CNN units using a generative CNN model, which is a product of experts model, and the learning algorithm admits an EM interpretation with binary latent variables.

研究の動機と目的

• 事前学習済みCNNフィルタからFRAMEモデルを学習することで、識別的CNNに形式的な生成的視点を導入すること。
• 生成モデリングを通じて、CNNにおける階層的特徴の教師なし、ラベルフリーな学習を可能にすること。
• 各学習済みFRAMEモデルが、より上位のレイヤーにおける新たなCNNユニットに対応することを示し、生成的および識別的ディープラーニングを統合すること。
• バイナリ潜在変数とEMに基づく学習を用いた、エキスパートの積（product-of-experts）型生成CNNモデルを開発すること。
• ジュルツ集団理論および最大エントロピー原理を用いてフレームワークを正当化し、実画像統計と統計的に整合するようにすること。

提案手法

• 最大エントロピー原理を用いて、実画像のフィルタ応答統計と一致する生成モデルを定義し、エネルギー関数をCNNフィルタ応答から導出する。
• 勾配降下を用いたラングジュアン動力学（焼きなましに類似）を用いてモデルからのサンプリングを行い、フィルタ応答勾配に基づいて反復的に画像を精緻化することで画像生成を実現する。
• 学習アルゴリズムを、畳み込みユニットがモデル化する局所的パターンを検出するハードディシジョンEステップを有するEMアルゴリズムとして解釈する。
• 各エキスパートが局所的パターンを表すエキスパートの積モデルを構築し、整流線形ユニット（ReLU）が混合モデルのエネルギー関数の自然な近似として正当化される。
• 空間的または画像集団平均を用いたジュルツ集団の視点をフレームワークに組み込み、画像部品（物体）の再混合や局所的パターン（テクスチャ）の再シャッフルを可能にし、統計的交換可能性を確保する。
• 定常的（テクスチャ）および非定常的（物体）なFRAMEモデルを組み込み、後者がある特定の空間位置におけるCNNノードに対応する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNフィルタを用いて、自然なシーンパターンの表現力のある生成モデルを学習できるか？
• RQ2 最大エントロピー原理をCNNベースのフィルタ応答に適用することで、現実的な画像を生成できるか？
• RQ3 学習済みFRAMEモデルと、より深いネットワークにおける新たなCNNユニットとの正式な対応関係は何か？
• RQ4 学習プロセスは、バイナリ潜在変数を用いたEMアルゴリズムとしてどのように解釈できるか？
• RQ5 ジュルツ集団理論を用いて、生成フレームワークを正当化し、観測された画像統計と統計的に整合するようにできるか？

主な発見

• CNNフィルタを用いた学習済みFRAMEモデルは、実画像のフィルタ応答統計と一致させることで、現実的で多様な物体およびテクスチャパターンを生成する。
• 各学習済みFRAMEモデルは、フィルタレイヤーの上位レイヤーにおける新たなCNNユニットに対応しており、CNNニューロンの生成的バージョンを効果的に構築する。
• 学習アルゴリズムは、ハードディシジョンEステップを有するEM解釈を許容し、局所的パターン活性化の効率的推論を可能にする。
• 生成CNNモデルはエキスパートの積であり、各エキスパートが局所的パターンをモデル化し、ReLU活性化関数がエネルギー関数の自然な近似として出現する。
• ジュルツ集団の正当化により、サンプル数またはドメインサイズが大きい場合に、モデルが統計的に交換可能で、観測された画像統計と整合する画像を生成することが確認された。
• このフレームワークはCNNの形式的生成的解釈を提供し、深層ネットワークの教師なし、ラベルフリーな事前学習の道を開く。