[論文レビュー] Deep Bayesian regression models

Aliaksandr Hubin, Geir Storvik+1 more|arXiv (Cornell University)|Jun 6, 2018

Gaussian Processes and Bayesian Inference参考文献 35被引用数 4

ひとこと要約

この論文は、非線形特徴工学とベイズ推論を組み合わせることで、解釈可能で不確実性を定量化できる回帰を可能にする、Deep Bayesian Regression Models (DBRM) というフレームワークを紹介する。MCMCに基づくアルゴリズムを用いたモデル選択とアンサンブルにより、DBRMは予測性能に優れ、信用区間を用いた不確実性の定量化を実現し、ベンチマーク例において最先端の手法を上回る性能を発揮する。

ABSTRACT

Regression models are used for inference and prediction in a wide range of applications providing a powerful scientific tool for researchers and analysts from different fields. In many research fields the amount of available data as well as the number of potential explanatory variables is rapidly increasing. Variable selection and model averaging have become extremely important tools for improving inference and prediction. However, often linear models are not sufficient and the complex relationship between input variables and a response is better described by introducing non-linearities and complex functional interactions. Deep learning models have been extremely successful in terms of prediction although they are often difficult to specify and potentially suffer from overfitting. The aim of this paper is to bring the ideas of deep learning into a statistical framework which yields more parsimonious models and allows to quantify model uncertainty. To this end we introduce the class of deep Bayesian regression models (DBRM) consisting of a generalized linear model combined with a comprehensive non-linear feature space, where non-linear features are generated just like in deep learning but combined with variable selection in order to include only important features. DBRM can easily be extended to include latent Gaussian variables to model complex correlation structures between observations, which seems to be not easily possible with existing deep learning approaches. Two different algorithms based on MCMC are introduced to fit DBRM and to perform Bayesian inference. The predictive performance of these algorithms is compared with a large number of state of the art algorithms. Furthermore we illustrate how DBRM can be used for model inference in various applications.

研究の動機と目的

• 深層学習の非線形特徴抽出機能とベイズ推論を統合する統計的に整合性のあるフレームワークを構築し、モデルの解釈可能性と不確実性の定量化を向上させること。
• 深層学習の限界（解釈性の欠如、過学習、不確実性の測定不能性）を、深層特徴学習をベイズ回帰の文脈に組み込むことで是正すること。
• 組み合わせ最適化と変数選択を用いて、データ駆動型の自動的非線形特徴選択を可能にし、情報的事前分布による正則化によって過学習を回避すること。
• 観測値間の複雑な相関構造を捉えるために、潜在ガウス過程をモデルに組み込むことで、標準的な深層学習でしばしば欠落する能力を拡張すること。
• モデル平均化と周辺尤度推定を可能にするスケーラブルで計算的に実行可能なベイズ深層学習のアプローチを提供すること。

提案手法

• 非線形特徴が深層ニューラルネットワークに類似した変換を段階的に生成する階層ベイズモデルを提案するが、複雑さを正則化するためベイズ的事前分布を用いる。
• 後方予測の推論にマルコフ連鎖モンテカルロ（MCMC）アルゴリズム（特にGMJMCMCおよびRGMJMCMC）を用い、モデル空間の探索とモデル平均化を可能にする。
• 非線形変換と変数選択を統合した特徴工学戦略を導入し、後方モデル確率に基づいて統計的に有意な特徴のみを保持する。
• ブリッジサンプリングとラプラス近似を用いた周辺尤度推定により、モデル比較と最適なアーキテクチャの選択を実現する。
• 観測値間の複雑な依存構造をモデル化するため、潜在ガウス過程の導入をサポートし、独立観測に限定されないモデルの拡張を可能にする。
• EMJMCMC Rパッケージに実装されたメモリ効率が良く並列化されたMCMCアルゴリズムにより、中規模から大規模なデータセットにおけるスケーラブルな推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 ベイズフレームワークと深層特徴工学を効果的に組み合わせることで、高い予測性能に加え解釈可能なモデルを生成できるか？
• RQ2 近似に依存せずに、完全なベイズアプローチにより深層学習モデルの不確実性を厳密に定量化できるか？
• RQ3 深層特徴空間における自動的モデル選択と変数選択は、標準的な深層学習や古典的回帰と比較して、予測性能をどの程度向上できるか？
• RQ4 潜在ガウス過程を深層学習アーキテクチャに効果的に統合し、データ内の複雑な相関構造をモデル化できるか？
• RQ5 深層特徴生成プロセスにおける特徴重み最適化のための異なる戦略間の計算的トレードオフは何か？

主な発見

• DBRMは、深層ニューラルネットワークや古典的回帰モデルを含む幅広い最先端のアルゴリズムと比較して、複数のベンチマーク例において優れた予測性能を達成する。
• MCMCに基づくモデル平均化と周辺尤度推定の活用により、数学的に正当化され解釈可能な信用区間を用いた適切にキャリブレーションされた不確実性の定量化が可能になる。
• 非線形変換の後に変数選択を施す本手法の特徴工学戦略は、より複雑な最適化戦略に比べ、計算効率と予測精度の両面で優れている。
• 潜在ガウス変数の導入により、標準的な深層学習フレームワークでは容易に得られないデータ内の複雑な相関構造をモデルが捉えることができる。
• EMJMCMC Rパッケージは、さまざまな事前分布仕様と周辺尤度推定手法をサポートするスケーラブルで柔軟な実装を提供し、再現可能で拡張可能な研究を可能にする。
• 計算コストは高いが、中規模から大規模なデータセットに対しても本フレームワークは実行可能であり、将来のBig Data対応のためのサブサンプリングMCMC技術への拡張の余地がある。