[論文レビュー] Coupling optional Pólya trees and the two sample problem

Li Ma, Wing Hung Wong|arXiv (Cornell University)|Nov 4, 2010

Bayesian Methods and Mixture Models被引用数 7

ひとこと要約

本稿では、2つの確率分布を「結合」すなわち、標本空間の部分集合で同じ条件付き分布を共有することを許容する、ベイズ非パラメトリック手法であるカップリング可能なポリアツリー(co-OPT)事前分布を導入する。この手法により、2標本差の仮説検定と乖離の構造的同定を同時に可能にし、データに適応する分割とMCMC推論による計算効率の向上を活用することで、古典的検定よりも高次元設定下で優れた性能を発揮する。

ABSTRACT

Testing and characterizing the difference between two data samples is of fundamental interest in statistics. Existing methods such as Kolmogorov-Smirnov and Cramer-von-Mises tests do not scale well as the dimensionality increases and provides no easy way to characterize the difference should it exist. In this work, we propose a theoretical framework for inference that addresses these challenges in the form of a prior for Bayesian nonparametric analysis. The new prior is constructed based on a random-partition-and-assignment procedure similar to the one that defines the standard optional Pólya tree distribution, but has the ability to generate multiple random distributions jointly. These random probability distributions are allowed to "couple", that is to have the same conditional distribution, on subsets of the sample space. We show that this "coupling optional Pólya tree" prior provides a convenient and effective way for both the testing of two sample difference and the learning of the underlying structure of the difference. In addition, we discuss some practical issues in the computational implementation of this prior and provide several numerical examples to demonstrate its work.

研究の動機と目的

• 古典的2標本検定（コルモゴロフ＝スミルノフ検定やクレーマー＝フォン・ミーゼス検定）が高次元設定で検出力が低下し、構造的解釈が失われるという限界を克服すること。
• 共通の標本空間領域で結合できるように設計された、2つの分布を同時にモデリングするベイズ非パラメトリック枠組みを構築すること。これにより、検出力と解釈可能性の両方が向上する。
• 分布の差を検出するだけでなく、どの変数や空間領域が差に寄与しているかといった、差の背後にある構造を学習できる手法を提供すること。
• 再帰的なランダム分割を用いたデータ駆動型標本空間分割を組み込むことで、非パラメトリック2標本推論における次元の呪いを克服すること。
• MCMCアルゴリズムを用いた実用的実装を可能にするために、特に結合確率$\epsilon$の事後分布推論に適した効率的ギブスサンプリングスキームを提供すること。

提案手法

• co-OPT事前分布は、2つの分布が共通部分領域で条件付き分布を共有できるようにする、同時のランダム分割および割り当て機構を導入することで、オプション・ポリアツリー(OPT)を拡張したものである。
• 2つの分布は$Q_1 = \epsilon H_0 + (1-\epsilon)H_1$および$Q_2 = \epsilon H_0 + (1-\epsilon)H_2$としてモデル化され、$H_0, H_1, H_2$は独立同一分布のディリクレ分布に従い、$\epsilon \sim Beta(a_\epsilon, b_\epsilon)$である。
• ギブスサンプラーを用いて、各観測値を$H_0$または$H_i$に割り当てる潜在指標$J_j^i$、混合割合$\epsilon$、およびベース分布$H_0, H_1, H_2$を逐次更新する。更新は共役事後分布に基づく。
• 事後推論の焦点は、$\epsilon$の期待値に置かれる。この値はMCMCサンプルから推定され、2つの標本間の共有構造の度合いを定量化する。
• データに適応する分割は再帰的分割によって実現され、分割はデータに従って制御され、次元の低い領域やスパースな領域での推定精度が向上する。
• 本フレームワークは連続的および離散的設定に拡張可能であり、多変量正規混合モデルやクロス集計表に対して、共役事前分布と効率的なサンプリングスキームを用いた具体的な実装が可能である。

実験結果

リサーチクエスチョン

• RQ1 共通の標本空間領域で結合できるように設計された、2つの確率分布を同時にモデリングするベイズ非パラメトリック事前分布を構築できるか？
• RQ2 古典的非パラメトリック検定と比較して、co-OPT事前分布は高次元設定下での2標本差の検出力に優れているか？
• RQ3 co-OPTフレームワークは、差の構造的成分（例えば、どの変数や領域が乖離に寄与しているか）を効果的に同定・特徴付けられるか？
• RQ4 特に潜在的割り当てインジケータとハイパーパrameterのサンプリングを含め、co-OPT事前分布に対して効率的なMCMC推論をどのように実装できるか？
• RQ5 スパースで高次元なクロス集計表問題において、ベースディリクレ事前分布のサポートを観測済みセルに制限することで、検出力がどの程度向上するか？

主な発見

• co-OPT事前分布は、結合を許容する共同モデリングを実現し、古典的検定が失敗する高次元設定下でも差の検出性能が向上した。
• 10,000ステップのMCMCサンプル（バーンイン10,000ステップ）から推定された$\epsilon$の事後平均は、2つの標本間の類似度を強固に測定する指標となり、0に近い値は強い乖離を示す。
• クロス集計表の例では、ディリクレ事前分布のサポートを観測済みセルに制限することで、スパarsity効果が軽減され、統計的検出力が著しく向上した。
• ギブスサンプラーは、$\epsilon$、$J_j^i$、$H_0$、$H_1$、$H_2$の各パラメータに対して効率的に収束し、共役分布に基づく事後更新により実用的実装が可能である。
• 本手法は、p値に類似した推論に加え、どの変数や領域が差を引き起こしているかを解釈可能な形で明らかにするため、標準的非パラメトリック検定を上回る。
• 本フレームワークは連続的（例：正規混合モデル）および離散的（例：クロス集計表）データに適用可能で、数値例において一貫した性能を示した。