[論文レビュー] Two-sample Bayesian nonparametric goodness-of-fit test

Luai Al Labadi, Emad Masuadi+1 more|arXiv (Cornell University)|Nov 13, 2014

Bayesian Methods and Mixture Models参考文献 31被引用数 10

ひとこと要約

本稿では、集中パラメータ1の標準正規分布を中心とする近似ディリクレ過程サンプル間のコルモゴロフ距離を用いた、新しいベイジアン非パラメトリック二標本適合度検定を提案する。この手法は、古典的検定と比較して優れたパワーを示し、すべての検討された状況でコルモゴロフ＝スミルノフ検定を一貫して上回り、ディリクレ過程のパラメータの事前分布の指定に対してもロバストである。

ABSTRACT

In recent years, Bayesian nonparametric statistics has gathered extraordinary attention. Nonetheless, a relatively little amount of work has been expended on Bayesian nonparametric hypothesis testing. In this paper, a novel Bayesian nonparametric approach to the two-sample problem is established. Precisely, given two samples $\mathbf{X}=X_1,\ldots,X_{m_1}$ $\overset {i.i.d.} \sim F$ and $\mathbf{Y}=Y_1,\ldots,Y_{m_2} \overset {i.i.d.} \sim G$, with $F$ and $G$ being unknown continuous cumulative distribution functions, we wish to test the null hypothesis $\mathcal{H}_0:~F=G$. The method is based on the Kolmogorov distance and approximate samples from the Dirichlet process centered at the standard normal distribution and a concentration parameter 1. It is demonstrated that the proposed test is robust with respect to any prior specification of the Dirichlet process. A power comparison with several well-known tests is incorporated. In particular, the proposed test dominates the standard Kolmogorov-Smirnov test in all the cases examined in the paper.

研究の動機と目的

• 未知の連続累積分布関数の二標本設定における等値性を検定するためのベイジアン非パラメトリックアプローチを開発すること。
• 特に二標本問題に対して、ベイジアン非パラメトリック仮説検定手法の不足を是正すること。
• 頻度主義の非パラメトリック検定（例：コルモゴロフ＝スミルノフ検定）の柔軟でロバストかつ強力な代替手法を構築すること。
• シミュレーションスタディと既存の検定とのパワー比較を通じて、本手法の性能を評価すること。
• ディリクレ過程のベース測度および集中パラメータの変化に対する本検定のロバスト性を調査すること。

提案手法

• 未知の分布 F および G をモデル化するために、標準正規分布をベース測度とし、集中パラメータ1の近似ディリクレ過程サンプルを用いる。
• 二標本の経験的累積分布関数とそれに対応するディリクレ過程近似との間のコルモゴロフ距離を計算する。
• 検定統計量は、二つのディリクレ過程サンプル間の距離に基づくものであり、これは二つの分布間の乖離の尺度として機能する。
• p値は、帰無仮説下で得られる距離と観測された距離を比較するモンテカルロシミュレーションにより近似される。
• 本手法はディリクレ過程の漸近的性質を活用しており、標本サイズが増加するにつれて帰無仮説下で距離が0に収束することを保証する。
• ロバスト性は、ベース測度（例：一様分布対正規分布）および集中パラメータ（例：a=1 対 a=50）を変化させることで評価され、あらゆる設定で一貫した結果が得られた。

実験結果

リサーチクエスチョン

• RQ1 コルモゴロフ距離とディリクレ過程近似を用いて、ベイジアン非パラメトリック二標本検定を構築できるか？
• RQ2 提案手法のパワーは、コルモゴロフ＝スミルノフ検定のような古典的非パラメトリック検定と比較してどのように異なるか？
• RQ3 提案手法は、ディリクレ過程のベース測度および集中パラメータの変化に対してロバストか？
• RQ4 本手法は、頻度主義的検定におけるp値にありがちな帰無仮説の裏付けを過大評価する傾向を回避できるか？
• RQ5 本手法は多変量または右打ち切りデータの設定へ一般化可能か？

主な発見

• 提案されたベイジアン非パラメトリック検定は、本稿で検討されたすべてのシミュレーション状況において、標準的なコルモゴロフ＝スミルノフ検定をパワーで一貫して上回る。
• 本検定は、ディリクレ過程のベース測度の変更に対してもロバストである。a=1のとき、標準正規分布から一様分布への切り替えにおいて、距離およびp値（U）は変化しない。
• 集中パラメータをa=1からa=50に増加させると、距離およびp値（U）は両方とも減少するが、検定の結論は変わらず、このパラメータに対するロバスト性が示された。
• 本手法は、従来の頻度主義的p値の意味で依存せず、帰無仮説の裏付けを過大評価する傾向を緩和する可能性がある。
• 漸近理論により、標本サイズが増加するにつれてコルモゴロフ距離が帰無仮説下で0に収束することを支持するため、本検定の妥当性が裏付けられる。
• 本手法は柔軟であり、標本サイズに依存せず、任意の二標本問題に適用可能であり、経験的分布関数に基づく分布フリー仮定に依存しない。