[論文レビュー] A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model

Tan M. Nguyen, Nhat Ho+4 more|arXiv (Cornell University)|Nov 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 62被引用数 7

ひとこと要約

本稿では、粗くから細かくまでのプロセスを通じて構造的潜在変数を用いて画像生成をモデル化することにより、CNNを逆設計するベイジアン生成フレームワーク、Deconvolutional Generative Model (DGM) を導入する。DGMにおける連合MAP推定からCNNの推論を導出し、Rendering Path Normalization (RPN) を新たな正則化子として導入し、Max-Min交差エントロピー損失を提案することで、半教師ありおよび教師あり設定の両方でSVHN、CIFAR10、CIFAR100で最先端の性能を達成した。

ABSTRACT

Inspired by the success of Convolutional Neural Networks (CNNs) for supervised prediction in images, we design the Deconvolutional Generative Model (DGM), a new probabilistic generative model whose inference calculations correspond to those in a given CNN architecture. The DGM uses a CNN to design the prior distribution in the probabilistic model. Furthermore, the DGM generates images from coarse to finer scales. It introduces a small set of latent variables at each scale, and enforces dependencies among all the latent variables via a conjugate prior distribution. This conjugate prior yields a new regularizer based on paths rendered in the generative model for training CNNs-the Rendering Path Normalization (RPN). We demonstrate that this regularizer improves generalization, both in theory and in practice. In addition, likelihood estimation in the DGM yields training losses for CNNs, and inspired by this, we design a new loss termed as the Max-Min cross entropy which outperforms the traditional cross-entropy loss for object classification. The Max-Min cross entropy suggests a new deep network architecture, namely the Max-Min network, which can learn from less labeled data while maintaining good prediction performance. Our experiments demonstrate that the DGM with the RPN and the Max-Min architecture exceeds or matches the-state-of-art on benchmarks including SVHN, CIFAR10, and CIFAR100 for semi-supervised and supervised learning tasks.

研究の動機と目的

• 与えられたCNNアーキテクチャの推論が、確率的生成モデルの推論に対応するように設計すること。
• 複雑な画像データのための生成モデルにおける有効な事前分布の欠如に対処するため、CNN構造を事前分布に埋め込むこと。
• 生成モデルのパス構造から導出される新しい正則化子を通じて、CNNの一般化性能を向上させること。
• 生成モデルの尤度推定から、ラベル付きデータが少ない状況でも性能を向上させる新しい訓練損失—Max-Min交差エントロピー—を導出すること。
• DGM推論から自然に生じるCNNが生成モデルと判別的学習を統合することを示すこと。

提案手法

• Deconvolutional Generative Model (DGM) は、各スケールに潜在変数を有する階層的で粗くから細かくまでの生成プロセスを用い、共役事前分布を通じて依存関係を強制する。
• DGMは、ReLU やプーリングなどの逆不能な層を逆転させるために補助的潜在変数を導入することで、CNNの操作を逆転させ、画像再構成を可能にする。
• モデルの事前分布構造が、生成グラフ内のパスに基づいて、新たな正則化子であるRendering Path Normalization (RPN) を誘導し、一般化性能を向上させる。
• DGMにおける尤度推定は、標準交差エントロピーを凌駕する新しい訓練損失を生み出す。
• Max-Min交差エントロピー損失は、新たなMax-Minネットワークアーキテクチャの訓練に用いられ、ラベル付きデータが少ない状況でも良好な一般化性能を示す。
• 本手法は、DGMフレームワーク内に変分推論とモーメントマッチング損失を統合することで、さらに訓練の安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 推論プロセスが与えられたCNNアーキテクチャと正確に一致する確率的生成モデルを設計できるか？
• RQ2 生成モデルにおける構造的事前分布は、深層学習における一般化性能をどのように向上させることができるか？
• RQ3 階層的生成モデルのパス構造から、CNNの訓練に新たな正則化子をどのように導出できるか？
• RQ4 生成モデルにおける尤度推定から、教師あり学習のためのより効果的な新しい損失関数をどのように生み出せるか？
• RQ5 提案された損失関数から、ラベル付きデータが限られた状況でも性能を向上させる新しいネットワークアーキテクチャ—Max-Minネットワーク—を導出できるか？

主な発見

• Deconvolutional Generative Model (DGM) は、CNNの逆設計に成功し、DGMにおけるボトムアップ推論がCNNの順方向プロセスと正確に一致する。
• 生成モデルのパス構造から導出されたRendering Path Normalization (RPN) は、一般化性能を向上させ、理論的保証を深層ネットワークに一般化する。
• Max-Min交差エントロピー損失は標準交差エントロピーを上回り、特にデータが少ない状況で顕著な性能向上を示し、Max-MinネットワークがCIFAR10、CIFAR100、SVHNで最先端の性能を達成する。
• 半教師あり学習ベンチマークにおいて、RPNおよびMax-Min損失を備えたDGMは、SVHN、CIFAR10、CIFAR100のすべてでSOTA性能を超過または同等に達成する。
• MNISTではたった50,000枚のラベル付き画像のみで強力な結果を達成し、データが少ない状況でも頑健であることを示した。
• DGMフレームワーク内に変分推論とモーメントマッチング損失を統合することで、さらに訓練の安定性と性能が向上した。