[論文レビュー] Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models

Daniel T. Chang|arXiv (Cornell University)|May 31, 2021

Gaussian Processes and Bayesian Inference参考文献 10被引用数 10

ひとこと要約

この論文は、確率的ニューラルネットワーク（PNN）と深層確率的モデル（DPM）の2つのアプローチを区別することで、確率的ディープラーニングの統合フレームワークを提示する。PNNは確率的レイヤーを用いて不確実性を埋め込み、DPMは深層ニューラルネットワークを確率的グラフィカルモデルに統合する。TensorFlow Probabilityを用いて両アプローチが不確実性を考慮したディープラーニングを実現することを示し、ベイジアンニューラルネットワーク、変分オートエンコーダ、深層ガウス過程への応用を含む。

ABSTRACT

Probabilistic deep learning is deep learning that accounts for uncertainty, both model uncertainty and data uncertainty. It is based on the use of probabilistic models and deep neural networks. We distinguish two approaches to probabilistic deep learning: probabilistic neural networks and deep probabilistic models. The former employs deep neural networks that utilize probabilistic layers which can represent and process uncertainty; the latter uses probabilistic models that incorporate deep neural network components which capture complex non-linear stochastic relationships between the random variables. We discuss some major examples of each approach including Bayesian neural networks and mixture density networks (for probabilistic neural networks), and variational autoencoders, deep Gaussian processes and deep mixed effects models (for deep probabilistic models). TensorFlow Probability is a library for probabilistic modeling and inference which can be used for both approaches of probabilistic deep learning. We include its code examples for illustration.

研究の動機と目的

• 不確実性を考慮したディープラーニングの文脈における確率的ニューラルネットワーク（PNN）と深層確率的モデル（DPM）の違いを明確にすること。
• ベイジアンニューラルネットワーク、混合密度ネットワーク、変分オートエンコーダ、深層ガウス過程、深層混合効果モデルなどの主要なアーキテクチャについて包括的な概要を提供すること。
• TensorFlow Probabilityを用いてPNNおよびDPMアプローチの実装を実践的に示すこと。
• 現実世界の機械学習応用において、データの不確実性とモデルの不確実性の両方を考慮するモデルの必要性に対処すること。

提案手法

• パラメータの不確実性を表現・伝搬するため、確率的レイヤーを用いる確率的ニューラルネットワーク（PNN）を提案する。
• 深層ニューラルネットワークと確率的グラフィカルモデルを組み合わせることで、複雑な非線形な確率的関係を捉える深層確率的モデル（DPM）を導入する。
• 特にニューラルネットワークの重み分布を通じてモデルの不確実性を定量化するため、PNNではベイジアン推論技術を採用する。
• 変分推論とアンモラライズド推論を、変分オートエンコーダーや深層ガウス過程などのDPMに適用し、高次元データへの確率的モデリングのスケーラビリティを実現する。
• PNNおよびDPMアーキテクチャの実装と学習を統合的に可能にするため、TensorFlow Probabilityを統合ライブラリとして活用する。
• 両アプローチのコード例を提示し、確率的レイヤーの定義、事後分布推論、不確実性を考慮した予測の実行方法を示す。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、予測における不確実性を明示的にモデル化・伝搬させるためにどのように拡張できるか？
• RQ2 確率的ニューラルネットワークと深層確率的モデルの間の主なアーキテクチャ的・手法的差異は何か？
• RQ3 ベイジアンニューラルネットワークと混合密度ネットワークは、回帰および分類タスクにおける不確実性の定量化をどのように可能にするか？
• RQ4 変分オートエンコーダーと深層ガウス過程は、深層ニューラルネットワークを用いて、複雑な非線形な確率的依存関係をどのようにモデル化するか？
• RQ5 TensorFlow Probabilityは、実際の応用においてPNNおよびDPMアプローチの実装とスケーリングを効果的に行うためにどのように活用できるか？

主な発見

• 確率的ニューラルネットワーク（PNN）は、ネットワーク重みに事前分布を設定し、ベイジアン推論を実行することで、パrameterの不確実性を効果的にモデル化し、不確実性を考慮した予測を可能にする。
• 変分オートエンコーダーや深層ガウス過程などの深層確率的モデル（DPM）は、深層ニューラルネットワーク部品を用いて、変数間の複雑な非線形な確率的関係を成功裏に捉える。
• PNNにおける混合密度ネットワーク（MDN）は、多峰性を持つ出力分布のモデル化を可能にし、複雑な条件付き密度を持つ回帰タスクでの性能向上に寄与する。
• DPMにおける変分オートエンコーダ（VAE）は、不確実性伝搬を伴う構造的な潜在空間を学習することで、高次元データの効果的な生成モデリングを実現する。
• 深層ガウス過程（DGPs）は、階層的かつ非線形なシステムにおける不確実性のモデル化に優れた性能を示し、特に複雑な不確実性構造を持つ回帰および分類タスクで有効である。
• TensorFlow Probabilityは、PNNおよびDPMアプローチの一貫性とスケーラビリティを実現する。確率的レイヤーを用いたエンドツーエンドの学習と推論をサポートする。