[論文レビュー] A Survey on Bayesian Deep Learning

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|Apr 6, 2016

Machine Learning and Data Classification参考文献 104被引用数 14

ひとこと要約

本調査は、認識のためのディープラーニングと推論のための確率的グラフィカルモデルを統合する包括的な確率的枠組みとしてのベイジアンディープラーニング（BDL）を紹介する。これにより、不確実性の定量化と耐障害性の向上が可能となる。BDLの推薦システム、医療、自然言語処理（NLP）、制御分野への応用をレビューし、ベイジアン原則に基づく認識と推論の統合的モデリングにより、最先端の性能を実証している。

ABSTRACT

A comprehensive artificial intelligence system needs to not only perceive the environment with different `senses' (e.g., seeing and hearing) but also infer the world's conditional (or even causal) relations and corresponding uncertainty. The past decade has seen major advances in many perception tasks such as visual object recognition and speech recognition using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. In recent years, Bayesian deep learning has emerged as a unified probabilistic framework to tightly integrate deep learning and Bayesian models. In this general framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in turn, the feedback from the inference process is able to enhance the perception of text or images. This survey provides a comprehensive introduction to Bayesian deep learning and reviews its recent applications on recommender systems, topic models, control, etc. Besides, we also discuss the relationship and differences between Bayesian deep learning and other related topics such as Bayesian treatment of neural networks. For a constantly updating project page, please refer to https://github.com/js05212/BayesianDeepLearning-Survey.

研究の動機と目的

• ディープラーニングの認識能力と確率的グラフィカルモデルの推論能力を統合する包括的枠組みとしてのベイジアンディープラーニング（BDL）の包括的概要を提示すること。
• ベイジアンネットワークおよび確率的グラフィカルモデルと統合することにより、ディープラーニングにおける不確実性と因果推論の制限を克服すること。
• 医療、推薦システム、制御などの実世界の応用において、BDLが性能と解釈可能性をどのように向上させるかを示すこと。
• BDLとベイジアンニューラルネットワークや標準的なPGM（確率的グラフィカルモデル）といった関連手法との違いを明確にすること。
• スケーラビリティ、解釈可能性、複雑な依存関係のモデリングといった分野における未解決の課題と今後の研究方向性を特定すること。

提案手法

• BDLモデルは、認識（例：画像やテキスト処理）のためのディープラーニング部と、条件付き依存関係と不確実性をモデリングするためのタスク固有のベイジアンネットワークから構成される。
• モデルパラメータの事後分布を近似するために、変分推論と確率的勾配変分ベイズ（SGVB）が採用されている。
• 予測における不確実性の定量化を可能にするために、ベイジアンニューラルネットワーク（BNNs）が認識部として使用されている。
• タスク固有の部品はベイジアンネットワークとしてモデル化され、変数間の因果的および条件付き関係の明示的表現が可能になっている。
• 認識と推論の間のフィードバックループが形式化されており、相互に改善が可能である（例：推論が認識をガイドし、認識が推論を情報提供する）。
• 特にデータが不足している状況での耐障害性を高め、ドメイン知識を埋め込むために、モデル構造に事前分布が組み込まれている。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンディープラーニングは、ディープラーニングの認識の強みと確率的グラフィカルモデルの推論能力をどのように統合するか？
• RQ2 BDLモデルにおける効果的な不確実性の定量化を可能にする主なアーキテクチャ的および推論的要素は何か？
• RQ3 標準的なディープラーニングと比較して、BDLは医療や推薦システムのような応用分野でどのように性能と耐障害性を向上させるか？
• RQ4 ベイジアン事前分布とモデル平均化は、データが少ない状況での一般化をどのように向上させるか？
• RQ5 BDLモデルのスケーリングにおける主な課題は何か？最近の効率的BNNの進展は、それらの課題をどのように克服するのを支援するか？

主な発見

• RNNベースの認識と構造的確率的モデリングによる依存関係の統合により、BDLモデルは時系列予測分野で最先端の性能を達成している。
• 医療分野では、DeepMarkov や DPFM といったBDLモデルが、不確実性の定量化を伴う反事後的推論と電子的健康記録の耐障害性の高い分析を可能にしている。
• BBFDR などのモデルにベイジアン事前分布を統合することで、がん薬物スクリーニングにおける誤発見率の制御が効果的に行われ、統計的推論の信頼性が向上した。
• BDLに基づく推薦システムは、非ベイジアンモデルを上回る性能を示しており、ユーザーの好み、アイテムのコンテンツ、ユーザーとアイテムの類似性を不確実性を考慮した推論で統合的にモデリングしている。
• BDLにおける双方向推論ネットワークの使用により、より深い、より表現力のある条件付き分布が可能となり、健康プロファイル作成や類似タスクでの性能が向上した。
• BDLフレームワークは、関係性のある発話構造をモデリングする DeepGraph ランダムプロセスのようなモデルを通じて、音声認識分野で顕著な改善を示しており、語彙誤り率が低下した。