[論文レビュー] Variational Bayesian inference for linear and logistic regression

Jan Drugowitsch|arXiv (Cornell University)|Oct 21, 2013

Gaussian Processes and Bayesian Inference参考文献 12被引用数 54

ひとこと要約

本稿では、自動関連決定（ARD）を用いた線形回帰およびロジスティック回帰のための変分ベイズ推論フレームワークを提示している。階層的モデリングにより回帰係数とハイパーパrameterを同時に推定可能であり、共役事前分布（正規逆ガンマ分布およびガンマハイパーパラメータ）を用いることで、閉形式の変分更新式を導出。係数の事後分布とハイパーパラメータの事後分布を同時に推定可能であり、交差検証を必要とせずに変分下界を用いたモデル選択が可能である。

ABSTRACT

The article describe the model, derivation, and implementation of variational Bayesian inference for linear and logistic regression, both with and without automatic relevance determination. It has the dual function of acting as a tutorial for the derivation of variational Bayesian inference for simple models, as well as documenting, and providing brief examples for the MATLAB/Octave functions that implement this inference. These functions are freely available online.

研究の動機と目的

• 階層的事前分布を用いた単純な回帰モデルにおける変分ベイズ推論のチュートリアル的導出を提供すること。
• 自動関連決定（ARD）を含む、スケーラブルで完全なベイズ推論手法を線形回帰およびロジスティック回帰に実装すること。
• 別個の検証セットを必要とせずに、変分下界を最大化することでモデル選択を可能にすること。
• 文書化されたMATLAB/Octave実装を通じて理論と実践を橋渡しすること。
• タイプ-II最尤推定ではなく、変分近似を用いてハイパーパラメータと係数の事後分布を同時に推定することで、標準的なベイズ回帰を拡張すること。

提案手法

• 回帰係数と精度に共役事前分布（正規逆ガンマ分布）を適用し、精度にガンマハイパーパラメータ、ARDハイパーパラメータαにガンマハイパーパラメータを設定する。
• 平均場近似を用いて重みw、精度τ、ハイパーパラメータαの変分事後分布近似を導出する。
• 変分下界に対する座標降下法を用いて、w、τ、αの変分パラメータの閉形式更新式を導出する。
• 非共役の場合に適応可能となるように、尤度関数にラプラス近似を適用し、同じフレームワークをロジスティック回帰に適用する。
• 異なる多項式次数の間でベイズ的モデル選択を実施するため、モデル証拠の代理として変分下界を用いる。
• VBLinLogit MATLAB/Octaveライブラリにアルゴリズムを実装し、フィッティング、予測、モデル比較のための関数を提供する。

実験結果

リサーチクエスチョン

• RQ1 線形回帰およびロジスティック回帰にARDを適用した場合、変分ベイズ推論を体系的かつ実装可能な形で導出・実装するにはどうすればよいか？
• RQ2 交差検証を必要とせずに、変分下界がバリデーションセットを要しないモデル選択の有効な基準として機能できるか？
• RQ3 回帰係数に階層的ハイパーパラメータを導入することで、係数の縮小とモデルの複雑さの選択にどのような影響を与えるか？
• RQ4 ロジスティック回帰における変分推論の性能は、フィッシャーの線形判別分析のような古典的手法と比べてどうか？
• RQ5 多項式分類タスクに応用した場合、提案手法の推論アルゴリズムは、予測精度と一般化性能の観点でどのように比較されるか？

主な発見

• モデル選択の例では、変分下界が真の多項式次数（k=2）でピークに達し、交差検証を必要とせずにモデルの複雑さを正しく同定している。
• ARDを用いたベイズモデルは、最適なモデルとして低次の多項式（k=3）を選択しており、過学習の回避と効果的な正則化を示している。
• 変分ベイズ分類器は18.33%のテスト誤差を達成したのに対し、フィッシャーの線形判別分析は19.00%であったため、より優れた一般化性能を示している。
• ノイズが存在する状況でも、変分ベイズモデルの予測クラス確率は真のクラス確率に非常に近づいていた。
• ARDによる不要な係数のプルーニングが成功しており、αの事後分布が小さな係数の分散を支持していることが裏付けられた。
• VBLinLogitライブラリに実装されたMATLAB/Octave実装により、効率的かつ再現可能な推論が可能であり、フィッティング、予測、モデル比較のための関数が提供されている。