[論文レビュー] A Probabilistic Theory of Deep Learning

Ankit Patel, Minh Tan Nguyen+1 more|arXiv (Cornell University)|Apr 2, 2015

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 62

ひとこと要約

この論文は、ノイズ要因の変動（例：ポーズ、スケール、ピッチ）をベイズ推論によって明示的にモデル化することで、深層学習がなぜ機能するかを説明する確率的生成フレームワーク—Deep Rendering Model (DRM)—を導入する。DRMの判別的緩和として深層畳み込みネットワーク（DCNs）とランダム決定木の集合（RDFs）を導出し、著者らはDCNsが確率的メッセージパッシングを実行すること、そしてドロップアウト学習が欠損データの仮定の下でEMアルゴリズムから自然に導かれることが示された。

ABSTRACT

A grand challenge in machine learning is the development of computational algorithms that match or outperform humans in perceptual inference tasks that are complicated by nuisance variation. For instance, visual object recognition involves the unknown object position, orientation, and scale in object recognition while speech recognition involves the unknown voice pronunciation, pitch, and speed. Recently, a new breed of deep learning algorithms have emerged for high-nuisance inference tasks that routinely yield pattern recognition systems with near- or super-human capabilities. But a fundamental question remains: Why do they work? Intuitions abound, but a coherent framework for understanding, analyzing, and synthesizing deep learning architectures has remained elusive. We answer this question by developing a new probabilistic framework for deep learning based on the Deep Rendering Model: a generative probabilistic model that explicitly captures latent nuisance variation. By relaxing the generative model to a discriminative one, we can recover two of the current leading deep learning systems, deep convolutional neural networks and random decision forests, providing insights into their successes and shortcomings, as well as a principled route to their improvement.

研究の動機と目的

• 高ノイズ要因を伴う推論タスクにおいて深層学習アーキテクチャが成功する理由を一貫した理論的枠組みで説明すること。
• 物体の位置、声のトーンなど、ノイズ要因の変動をベイズ生成的手法を用いて明示的にモデル化すること。
• 深層畳み込みネットワーク（DCNs）とランダム決定木の集合（RDFs）を共通の確率的基盤の下に統合すること。
• 欠損データを伴う生成モデルにEMアルゴリズムを適用することで、ドロップアウト学習を導出すること。
• 確率的解析と推論を通じて、深層学習モデルの改善のための原理的アプローチを提供すること。

提案手法

• ノイズ要因の変動（例：ポーズ、スケール）を潜在変数で捉える階層的ベイズ生成モデルとしてDeep Rendering Model (DRM)を提唱する。
• DRMの確率的構造からメッセージパッシングを経て、深層畳み込みネットワークの主要構成要素（例：畳み込み、マックスプーリング）を導出する。
• 期待値最大化（EM）アルゴリズムを用いて、データからDRMのパラメータを学習し、潜在ノイズ変数と観測データの両方の同時推論を可能にする。
• 生成的DRMを判別的モデルに緩和することで、DCNsとRDFsを回復させ、それらの確率的意味を示す。
• 欠損データを伴う生成モデルにEMアルゴリズムを適用し、ドロップアウトを導出する：ソフトEステップはアンサンブル平均の近似を表し、判別的Mステップはドロップアウト学習を生成する。
• 得られる最適化目的関数は、ランダムにマスクされたデータサブセット上で共有重みを持つモデルのアンサンブルを学習するのと等価であり、ドロップアウトアルゴリズムと完全に一致する。

実験結果

リサーチクエスチョン

• RQ1 高次元入力にノイズ要因の変動が伴うにもかかわらず、なぜ深層畳み込みネットワーク（DCNs）は一般化性能が優れているのか？
• RQ2 ドロップアウト学習はどのように確率的枠組みの中で形式的に正当化できるか？
• RQ3 ノイズ要因の変動を処理する深層学習の成功を説明する背後にある確率的メカニズムは何か？
• RQ4 深層畳み込みネットワークとランダム決定木の集合は、共通の生成モデルを通してどのように関連しているか？
• RQ5 EMアルゴリズムは、ドロップアウト学習のような判別的深層学習アルゴリズムを導出するために再利用可能か？

主な発見

• 深層畳み込みネットワーク（DCNs）は、Deep Rendering Model (DRM) から導出された確率的メッセージパッシングネットワークと等価であり、完全な確率的意味論を有する。
• DCNsにおけるマックスプーリングは、空間的位置に関する確率的周辺化を実行しており、生成モデルにおけるノイズ要因の統合（周辺化）に等しい。
• ドロップアウト学習は、完全にランダムな欠損データを伴うノイズのないガウスレンダリングモデルにEMアルゴリズムを適用することで、形式的に導出可能である。
• 得られる最適化目的関数は、ランダムにマスクされたデータサブセット上で共有重みを持つモデルのアンサンブルを学習するのと等価であり、ドロップアウトアルゴリズムと完全に一致する。
• 生成モデルにEMアルゴリズムを適用することで、標準的なバックプロパゲーションとドロップアウト学習ループと一致する判別的学習手順が得られる。
• このフレームワークは、DCNs、RDFs、ドロップアウトを一つの確率的理論の下に統合し、モデル設計と改善のための原理的基盤を提供する。