[論文レビュー] Leave Pima Indians alone: binary regression as a benchmark for Bayesian computation

Nicolás Chopin, James Ridgway|arXiv (Cornell University)|Jun 29, 2015

Markov Chains and Monte Carlo Methods参考文献 51被引用数 50

ひとこと要約

この論文は、Pima Indians糖尿病データセットのような小さなバイナリ回帰データセットをベイジアン計算のベンチマークとして使用することを批判し、現代のアルゴリズムを評価するにはあまりに単純すぎるとしている。MCMC や SMC といったサンプリングベースの手法と、ラプラス近似、EP、VB といった決定的近似手法を、さまざまなデータサイズで比較した結果、小さなデータでは基本的な手法が複雑なアルゴリズムを上回ることが多く、また $p$（予測変数）が大きい問題では現在のアプローチの限界が顕在化する。公平な評価のため、より大規模で現実的であるべきベンチマークの採用を提言する。

ABSTRACT

Abstract. Whenever a new approach to perform Bayesian computation is introduced, a common practice is to showcase this approach on a binary regression model and datasets of moderate size. This paper discusses to which extent this practice is sound. It also reviews the current state of the art of Bayesian computation, using binary regression as a running example. Both sampling-based algorithms (importance sampling, MCMC and SMC) and fast approximations (Laplace and EP) are covered. Extensive numerical results are provided, some of which might go against conventional wisdom regarding the effectiveness of certain algorithms. Implications for other problems (variable selection) and other models are also discussed.

研究の動機と目的

• 小さなバイナリ回帰データセット（例：Pima Indians データセット）をベイジアン計算のベンチマークとして使用することの妥当性を評価すること。
• サンプリングベースの手法（MCMC、SMC）と決定的近似手法（ラプラス、EP、VB）がバイナリ回帰モデルにおいてどのように性能を発揮するかを比較すること。
• 特に高次元設定（$p > 100$）において、どのアルゴリズムが最も効果的で、効率的で、頑健であるかを評価すること。
• 各データセットごとに手動でパラメータをチューニングするという一般的な慣習に疑問を呈し、一般化可能で自動チューニング可能なルールの導入を提言すること。
• より大規模で現実的なデータセットへの移行を促し、現代のベイジアン計算における並列処理と高速近似の重要性を強調すること。

提案手法

• 尤度と事前分布が既知のバイナリ回帰モデル（ロジットおよびプロビット）を用い、Pima Indians データセットをベースラインとして用いるが、100個以上の予測変数を含むより大きなデータセットへ拡張する。
• 複数のベイジアン計算手法を比較：重要度サンプリング、MCMC（ランダムウォークメトロポリスおよびHMC）、SMC、ラプラス近似、EP、変分ベイズ（VB）。
• SMC や重要度サンプリングのための提案分布として EP を用い、SMC を介して誤差の評価が可能な効率的な事後分布近似を実現する。
• 各データセットごとの手動キャリブレーションを避けるために、パラメータ（例：メトロポリスのステップサイズ、HMC の質量行列）の一般的なチューニングルールを採用する。
• 誤差とCPU時間のトレードオフ、実装可能性、一般性、並列処理の可能性に基づいて手法を評価する。
• データサイズと次元の増加に伴う複数のデータセットを用いた数値実験により、相対的な性能とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 Pima Indians 糖尿病データセットは、新しいベイジアン計算アルゴリズムを評価するための妥当なベンチマークであるか？
• RQ2 バイナリ回帰モデルにおいて、サンプリングベースの手法（MCMC、SMC）と決定的近似手法（ラプラス、EP、VB）の精度と効率性はどのように比較されるか？
• RQ3 自動的にチューニングされた場合、HMC や SMC といった高度なアルゴリズムの性能が、小さなデータセットにおいてランダムウォークメトロポリスよりも顕著に優れているか？
• RQ4 EP やラプラス近似といった高速近似手法が、より良い初期化や提案分布として機能することで、サンプリングベースのアルゴリズムの性能がどの程度向上するか？
• RQ5 予測変数空間の次元数（$p$）が、さまざまなベイジアン計算手法のスケーラビリティと性能にどのように影響を与えるか？

主な発見

• Pima Indians データセット（8個の予測変数）は、ベイジアン計算アルゴリズムを意味的にベンチマークするには小さすぎる。たとえ基本的な手法（ランダムウォークメトロポリス）でさえ、このようなデータではより複雑なアルゴリズムを上回る。
• 100個以上の予測変数を含むデータセットでは、大多数のベイジアン計算手法が計算的に非現実的になる。これは $p^3$ のスケーリング複雑性が主なボトルネックであることを示している。
• 期待値伝播（EP）は、他の決定的近似手法を一貫して上回り、理論的誤差率が $\mathcal{O}(n_{\mathcal{D}}^{-2})$ であるため、その優れた実験的性能が説明できる。
• SMC や重要度サンプリングに EP を提案分布として用いることで、非常に効率的な事後分布近似が可能となり、多くの場合、SMC が低分散の単一の重要度サンプリングステップに簡略化される。
• EP を用いて適切にチューニングされたランダムウォークメトロポリスは、高次元データでも驚くほど良好な性能を示し、実装が容易である。これは、このような設定において HMC が支配的であるという常識に疑問を呈する。
• 本論文は、現在のベンチマークがあまりに単純であると結論づけ、$p > 100$ でかつ適切にチューニングされたランダムウォークメトロポリスをベースラインとして含む、より大規模で現実的なデータセットの採用を提言する。