[論文レビュー] Safe-Bayesian Generalized Linear Regression

Rianne de Heide, Alisa Kirichenko+2 more|arXiv (Cornell University)|Oct 21, 2019

Statistical Methods and Inference参考文献 34被引用数 18

ひとこと要約

本稿では、モデル不適合下でのベイズ推論の安定化を図るため、学習率 η < 1 を用いる Safe-Bayesian 広義線形回帰を提案する。指数的尾部を示す応答分布を有する広義線形モデルにおいて、この手法が最良の近似モデルの周囲に集中することを証明し、MCMC サンプラーおよび実世界のデータを用いた実験により、不適合下において標準ベイズ手法に比べ予測精度が顕著に優れていることを示している。

ABSTRACT

We study generalized Bayesian inference under misspecification, i.e. when the model is 'wrong but useful'. Generalized Bayes equips the likelihood with a learning rate $η$. We show that for generalized linear models (GLMs), $η$-generalized Bayes concentrates around the best approximation of the truth within the model for specific $η eq 1$, even under severely misspecified noise, as long as the tails of the true distribution are exponential. We derive MCMC samplers for generalized Bayesian lasso and logistic regression and give examples of both simulated and real-world data in which generalized Bayes substantially outperforms standard Bayes.

研究の動機と目的

• 標準ベイズ推論がモデル不適合下で失敗することを是正すること、特に高次元または不適合な設定において。
• リッジ回帰やモデル選択において効果的であることが示された Safe-Bayesian フレームワークを、広義線形モデル（GLMs）に拡張すること。
• シミュレーションおよび実世界のデータ（lasso やロジスティック回帰を含む）において、最適な η を用いた一般化ベイズが標準ベイズを上回ることを実証的に示すこと。
• 広義線形モデルにおいて、深刻なノイズ不適合下でも一般化ベイズが最良の近似モデルに集中する理論的条件を確立すること。
• lasso やロジスティック回帰における一般化ベイズ後部のサンプリングに適した実用的な MCMC アルゴリズムを開発すること。

提案手法

• 学習率 η < 1 を導入し、尤度を p(y|x,θ)^η に変更することで、一般化ベイズ推論を実装し、後部の集中を正則化する。
• 安全ベイズアルゴリズムを用いて、データから最適な η を学習する。η ∈ {1, 0.9, ..., 0.5} のグリッドサーチを実施し、予測リスクを最小化する η を選択する。
• ベイズ的lassoおよびロジスティック回帰における一般化後部のサンプリングのための MCMC サンプラーを導出することで、実装を可能にする。
• 理論的分析により、\bar{\eta}-中心条件が成り立つ場合、η < \bar{\eta} の一般化ベイズが真の分布のモデルへのKL射影の周囲に集中することを示している。
• 応答変数が指数的減少する尾部を示す場合、広義線形モデルにおいて中心条件が成り立つことを証明した。これは分類や多くの回帰設定において満たされる。
• 予測分散および平均二乗誤差のモンテカルロ推定を用いて、標準ベイズと一般化ベイズの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 lasso やロジスティック回帰を含む不適合広義線形モデルにおいて、η < 1 の一般化ベイズ推論が標準ベイズを上回る性能を示せるか？
• RQ2 応答分布の尾部が指数的減少するという現実的な仮定の下で、GLMs における \bar{\eta}-中心条件が成り立つか？
• RQ3 データ駆動型の η 選択を用いた安全ベイズ学習は、実世界のデータセットにおいて標準ベイズに比べ一貫した性能向上をもたらすか？
• RQ4 lasso やホーシュープのようなスパース性誘導事前分布は不適合下で失敗するのか？また、η < 1 の一般化ベイズはその頑健性を回復できるか？
• RQ5 広義線形モデルにおける一般化後部分布のための MCMC サンプラーは、実用的な展開に適しているか？

主な発見

• 不適合なノイズを伴うシミュレーションデータにおいて、η = 0.5 の Safe-Bayesian lasso は、標準ベイズ lasso（η = 1）に比べて顕著に低い平均二乗誤差を達成した。p = 100 の予測子でも同様の結果が得られた。
• シエトルの気象データでは、10回の実験すべてにおいて Safe-Bayesian lasso およびホーシュープが標準ベイズを上回った。また、Safe-Bayesian 法では η = 1 が一度も選択されなかった。
• ロンドンの大気汚染データでは、学習済み η を用いた Safe-Bayesian lasso が20回の実験すべてで標準ベイズを上回り、時間的およびデータ分布の変化に対しても頑健であった。
• ロジスティック回帰の実験では、サンプルサイズが増加するにつれて、η = 3 の一般化ベイズが標準ベイズ（η = 1）に比べて優れた予測性能を示した。
• 理論的結果により、応答分布の尾部が指数的減少する場合、GLMs における \bar{\eta}-中心条件が成り立つことが確認された。これは、分類におけるすべての有界応答変数を含む。
• 安全ベイズアルゴリズムは、すべてのデータセットおよび事前分布において一貫して η < 1 を選択した。これは、モデル不適合下では標準ベイズが最適でないことを示している。