[論文レビュー] Bayesian two-sample tests

Karsten Borgwardt, Zoubin Ghahramani|ArXiv.org|Jun 22, 2009

Bayesian Methods and Mixture Models参考文献 20被引用数 13

ひとこと要約

本論文は、指数型分布族への適用を想定したパラメトリック手法と、未知の分布を柔軟にモデル化するためのディリクレ過程混合モデル（DPMs）を用いたノンパラメトリック手法を備えた2つのベイジアン二標本検定を導入する。本手法は周辺尤度を用いてベイズ因子を計算し、ブートストラップを回避し、ベイジアン階層的クラスタリングなどの近似手法を活用することで、O(n²)未満の計算コストで効率的な推論を可能にし、頻度主義的検定の原理的かつ汎用的な代替手段を提供する。

ABSTRACT

In this paper, we present two classes of Bayesian approaches to the two-sample problem. Our first class of methods extends the Bayesian t-test to include all parametric models in the exponential family and their conjugate priors. Our second class of methods uses Dirichlet process mixtures (DPM) of such conjugate-exponential distributions as flexible nonparametric priors over the unknown distributions.

研究の動機と目的

• 一般化されたベイジアン枠組みを二標本問題に開発し、応用分野に特化した仮定を回避すること。
• 共役事前分布を伴うすべての指数型分布族にまで拡張されたベイジアンt検定を実現すること。
• 未知の分布を柔軟にモデル化できるノンパラメトリックなベイジアンアプローチとして、ディリクレ過程混合モデル（DPMs）を提案すること。
• DPM事前分布下での周辺尤度を用いて、同一分布と異なる分布の間のモデル比較のためのベイズ因子を計算すること。
• ベイジアン階層的クラスタリング（BHC）などの近似手法を活用することで、計算コストをO(n²)未満に抑えることで、効率的な推論を可能にすること。

提案手法

• 共役事前分布を伴う指数型分布族を用いたパラメトリックなベイジアン二標本検定を提案し、ベイジアンt検定を一般化する。
• 未知の分布 q₁ および q₂ に対して、ディリクレ過程混合モデル（DPMs）をノンパラメトリック事前分布として採用し、複雑なデータを柔軟にモデル化可能にする。
• ベイズ因子 χ を、DPM事前分布の下で周辺尤度 P(X|α,β)P(Y|α,β) と結合周辺尤度 P(X,Y|α,β) の比として計算する。
• DPM下での証拠を計算するために、V（すべてのデータ分割の集合）についての式 p(D|α,β) = ∑_{v∈V} p(v|α)p(D|v,β) を用いる。
• ベイジアン階層的クラスタリング（BHC）を用いてDPM下での周辺確率の近似推論を実施し、中程度の n に対して O(n²) の実行時間で実現する。
• 成分パrameterに共役事前分布を、混合重みにディリクレ事前分布を採用することで、周辺尤度の計算を解析的に扱えるようにする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンt検定を正規分布の仮定を超えて、すべての指数型分布族に一般化するにはどうすればよいか？
• RQ2 ディリクレ過程混合モデル（DPMs）は、二標本問題における未知の分布を柔軟にモデル化するためのノンパラメトリック事前分布として有効か？
• RQ3 DPM事前分布下での周辺尤度を効率的に計算することで、ベイズ因子の計算を可能にする方法は何か？
• RQ4 ブートストラップを要する頻度主義的手法と比較して、提案手法の計算効率はどの程度か？
• RQ5 ベイジアン階層的クラスタリング（BHC）のような近似推論手法は、実世界のデータに対して正確かつスケーラブルなベイズ因子を提供できるか？

主な発見

• パラメトリックなベイジアン二標本検定は、ベイジアンt検定を正規分布に限らず、すべての指数型分布族に一般化し、正規性の仮定を超えた広範な適用可能性を実現する。
• DPMを用いたノンパラメトリックな検定は、パラメトリックな形を仮定せず、未知の分布を柔軟にモデル化できることから、パラメトリック仮定に対する頑健な代替手段を提供する。
• ベイズ因子は χ = P(X|α,β)P(Y|α,β) / P(X,Y|α,β) として計算され、周辺尤度はデータ構成の分割に基づく和集合から導出される。
• ベイジアン階層的クラスタリング（BHC）による近似推論により、周辺確率の計算が O(n²) で実現され、中程度のサイズのデータセットに対してもスケーラブルである。
• 帰無分布の推定にブートストラップを必要としないため、頻度主義的二標本検定よりも計算コストが低くなる。
• 近似手法を活用することで、統計的に厳密かつ計算的に実行可能な、原理的で汎用的な二標本問題の解決策を提供する。