[論文レビュー] A Probabilistic Framework for Deep Learning

Ankit Patel, Tan M. Nguyen+1 more|arXiv (Cornell University)|Dec 6, 2016

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 15

ひとこと要約

本稿では、階層的アフィン変換を用いてデータ内の不快なばらつき（ヌイズ変動）をモデル化する生成的確率的枠組みであるDeep Rendering Mixture Model（DRMM）を提案する。DRMMにおけるmax-sum推論が、深層畳み込みニューラルネットワーク（DCN）の演算を正確に再現することを示し、DCNの第一原理的導出を可能にするとともに、EMアルゴリズムによる学習が可能となり、MNISTおよびCIFAR10ベンチマークで高速収束と競争力のある精度を達成する。

ABSTRACT

We develop a probabilistic framework for deep learning based on the Deep Rendering Mixture Model (DRMM), a new generative probabilistic model that explicitly capture variations in data due to latent task nuisance variables. We demonstrate that max-sum inference in the DRMM yields an algorithm that exactly reproduces the operations in deep convolutional neural networks (DCNs), providing a first principles derivation. Our framework provides new insights into the successes and shortcomings of DCNs as well as a principled route to their improvement. DRMM training via the Expectation-Maximization (EM) algorithm is a powerful alternative to DCN back-propagation, and initial training results are promising. Classification based on the DRMM and other variants outperforms DCNs in supervised digit classification, training 2-3x faster while achieving similar accuracy. Moreover, the DRMM is applicable to semi-supervised and unsupervised learning tasks, achieving results that are state-of-the-art in several categories on the MNIST benchmark and comparable to state of the art on the CIFAR10 benchmark.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（DCN）の成功を、潜在的な不快な変動要因をモデル化することで、原理的かつ確率的枠組みで説明すること。
• 生成的モデリングを通じて、畳み込み、ReLU、マックスプーリングなどのDCNの操作に理論的基盤を提供すること。
• 誤差と分散のトレードオフを最適化するため、バックプロパゲーションとは異なる代替手法としてEMアルゴリズムを用いた学習を提供し、学習効率と一般化性能を向上させること。
• 教師あり、半教師あり、教師なし学習にまで枠組みを拡張し、標準ベンチマークデータセットで優れた性能を示すこと。

提案手法

• 不快なばらつきを複数段階にわたるアフィン変換の積として明示的にモデル化する階層的生成モデルであるDeep Rendering Mixture Model（DRMM）を提案する。
• DRMMにおけるmax-sum推論とDCNのフォワードパスとの等価性を導出し、畳み込み層、ReLU層、プーリング層に確率的解釈を提供する。
• 生成的DRMMを緩和して判別的モデルにすることで、バイアス-バリアンスのトレードオフを最適化し、効果的な分類を可能にする。
• EM（期待値最大化）アルゴリズムを用いてDRMMを学習することで、バックプロパゲーションとは異なる代替手法を提供し、収束が速い。
• 標準ベンチマーク（MNISTやCIFAR10など）を用いて、教師あり、半教師あり、教師なし学習タスクにこの枠組みを適用する。
• 効率的な推論のためのメッセージパッシングにmax-sum/積和アルゴリズムを採用し、パラメータ共有を用いて過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、原理的かつ確率的生成モデルからどのように導出可能か？
• RQ2 不快な変動要因は深層学習においてどのような役割を果たし、一般化性能の向上に寄与するように明示的にモデル化できるか？
• RQ3 EMアルゴリズムは、バックプロパゲーションの代替手段として、同等またはそれ以上の性能を達成する深層ネットワークの学習に有効であるか？
• RQ4 半教師ありおよび教師なし学習の設定において、DRMM枠組みは最先端の手法と比較してどのように性能を示すか？
• RQ5 畳み込み、ReLU、マックスプーリングといったDCNの主要な構成要素に、確率的解釈をどのように与えられるか？

主な発見

• DRMMにおけるmax-sum推論は、深層畳み込みニューラルネットワークのフォワードパスを正確に再現し、DCNの操作を第一原理から導出する。
• EMによるDRMM学習は、バックプロパゲーションに比べ2〜3倍速く収束し、MNISTの数字分類タスクで同程度の精度に到達する。
• MNISTベンチマークでは、5層のDRMMが教師あり学習で0.89%のテスト誤差を達成し、6万枚の未ラベル画像を用いた教師なし事前学習では0.58%の誤差を記録した。
• ラベル付きデータがたった100枚の半教師あり学習でも、DRMMは3.50%のテスト誤差を達成し、ConvNets や Ladder Networks など他の手法を上回った。
• CIFAR10では、9層のDRMMが5万枚のラベル付き画像を用いて11.37%のテスト誤差を記録し、LadderNet や ImprovedGAN といった最先端モデルと同等の性能を示した。
• DRMMは意味のある特徴階層を反映するフィルターや画像を学習し、教師なしでも有効な表現学習が可能であることを示した。