[論文レビュー] A Theory of Generative ConvNet

Jianwen Xie, Yang Lu+2 more|arXiv (Cornell University)|Feb 10, 2016

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 160

ひとこと要約

本論文は、ガウス白色ノイズ参照を持つ識別型ConvNetからエネルギーベースモデルとしての生成型ConvNetを導出し、平均が階層的オートエンコーダによって定義され、コントラスト・ダイバージェンスとランジェヴ動力学によって訓練される部分的ガウス構造を明らかにします。

ABSTRACT

We show that a generative random field model, which we call generative ConvNet, can be derived from the commonly used discriminative ConvNet, by assuming a ConvNet for multi-category classification and assuming one of the categories is a base category generated by a reference distribution. If we further assume that the non-linearity in the ConvNet is Rectified Linear Unit (ReLU) and the reference distribution is Gaussian white noise, then we obtain a generative ConvNet model that is unique among energy-based models: The model is piecewise Gaussian, and the means of the Gaussian pieces are defined by an auto-encoder, where the filters in the bottom-up encoding become the basis functions in the top-down decoding, and the binary activation variables detected by the filters in the bottom-up convolution process become the coefficients of the basis functions in the top-down deconvolution process. The Langevin dynamics for sampling the generative ConvNet is driven by the reconstruction error of this auto-encoder. The contrastive divergence learning of the generative ConvNet reconstructs the training images by the auto-encoder. The maximum likelihood learning algorithm can synthesize realistic natural image patterns.

研究の動機と目的

• 識別型ConvNetを生成モデルおよび教師なし学習器へ転換する動機付け。
• ConvNetのスコアリング関数を用いた指数tiltingとしてエネルギーベースモデルとしての生成型ConvNetを導出する。
• 下向きのフィルタが上向きの基底関数になる内部オートエンコーダ構造を明らかにする。
• 再構成誤差に driven されたランジェヴ動力学によるサンプリングを示すとともに、コントラスト・ダイバージェンスによる学習を示す。
• 最大尤度学習が現実的な自然画像パターンを合成できることを実証する。

提案手法

• ガイダンス参照としてガウス白色ノイズを用いたエネルギーベースモデルとして識別型ConvNetと生成型ConvNetを定義する。
• ReLU非線形性を用いると、モデルはオートエンコード平均で部分的ガウス分布になることを示す。
• スコア関数を表現し、各活性化パターンδを得るためのトップダウンのデコ convolutions を導出する。
• 再構成誤差に driven されたランジェヴ動力学を用いて生成モデルからのサンプリングを行う。
• 観測画像からのモンテカルロ推定を用いた最大尤度学習を採用し、オプションとして観測画像から始めるコントラスト・ダイバージェンスを併用する。
• 下向きのフィルタがトップダウン表現の基底関数として機能する階層的な畳み込み実現を提供する。

実験結果

リサーチクエスチョン

• RQ1 識別型ConvNetをガウス参照分布を持つ生成的エネルギーベースモデルとして解釈できるか。
• RQ2 識別型ConvNetから生成型ConvNetを導出したときに現れる内部表現構造は何か。
• RQ3 ランジェヴ動力学に基づくサンプリングとコントラスト・ダイバージェンスはこの枠組みの自動エンコーダ再構成とどのように関連するか。
• RQ4 ReLUと部分的線形性が部分的ガウス生成モデルの生成に果たす役割は何か。
• RQ5 ラベルなしデータからモデルは現実的な自然画像パターンを合成できるか。

主な発見

• 生成型ConvNetは部分的ガウス分布であり、その平均は自動エンコーダによって定義され、下向きのフィルタが上向きの基底関数へと変換される。
• ランジェヴサンプリングは自動エンコーディング再構成誤差によって駆動され、合成と再構成の関係を結びつける。
• コントラスト・ダイバージェンス学習は訓練画像を自動エンコーダで再構築し、勾配を再構成誤差と整合させる。
• 内部構造はガウス参照分布の下でConvNet内に識別的モデル化と生成的モデル化を統一する。
• 最大尤度学習を通じて画像から現実的な自然画像パターンを合成できる。
• 経験的結果はテクスチャや物体パターンの生成と再構成能力を示す。