[論文レビュー] Two-sample Testing for Large, Sparse High-Dimensional Multinomials under Rare/Weak Perturbations

David L. Donoho, Alon Kipnis|arXiv (Cornell University)|Jul 3, 2020

Statistical Methods and Inference参考文献 22被引用数 4

ひとこと要約

本稿は、希少・弱い摂動下における大規模・スパースな高次元多項分布における2標本の同質性に関するHigher Criticismに基づく検定を提案する。N個のカテゴリにおける正確な二項検定からのP値を組み合わせることで、(β,r)-平面上にフェーズ遷移が生じ、その領域で検出力が漸近的に最大に達することが特定された。このとき、密度的状況下では正規母平均モデルと同等の性能を示す。

ABSTRACT

Given two samples from possibly different discrete distributions over a common set of size $N$, consider the problem of testing whether these distributions are identical, vs. the following rare/weak perturbation alternative: the frequencies of $N^{1-\beta}$ elements are perturbed by $r(\log N)/2n$ in the Hellinger distance, where $n$ is the size of each sample. We adapt the Higher Criticism (HC) test to this setting using P-values obtained from $N$ exact binomial tests. We characterize the asymptotic performance of the HC-based test in terms of the sparsity parameter $\beta$ and the perturbation intensity parameter $r$. Specifically, we derive a region in the $(\beta,r)$-plane where the test asymptotically has maximal power, while having asymptotically no power outside this region. Our analysis distinguishes between the cases of dense ($N\gg n$) and sparse ($N\ll n$) contingency tables. In the dense case, the phase transition curve matches that of an analogous two-sample normal means model.

研究の動機と目的

• 2つの標本の同質性検定を、わずかに一部のカテゴリしか摂動されていない高次元離散分布の文脈で取り扱う。
• 摂動を希少（N^{1−β} 個の要素）かつ弱い（Hellinger距離で r(log N)/(2n)）ものとしてモデル化し、現実的なスパース信号状況を反映する。
• 各カテゴリについての正確な二項検定からのP値を用いて、Higher Criticism検定をこの多項分布設定に適応する。
• スパース性βと摂動強度rの観点から、漸近的検出境界を特徴づける。
• 密度的（N ≫ n）およびスパース（N ≪ n）な連関表の設定における性能を比較する。

提案手法

• 帰無仮説（2標本の分布が同一）の下で、各Nカテゴリについて正確な二項検定のP値を計算する。
• これらのP値をHigher Criticism（HC）統計量を用いて集約し、一様な帰無分布からの逸脱を検出する。
• 検定統計量は、N^{1−β} 個のカテゴリが摂動されており、Hellinger距離で r(log N)/(2n) の摂動があるものと仮定して導出される。
• N → ∞ の極限において漸近的検出力の分析を実施し、密度的（N ≫ n）とスパース（N ≪ n）な設定の違いを明確にする。
• 代替仮説下でのHC統計量の挙動を分析することで、フェーズ遷移曲線を導出する。これは、検出可能と検出不能な摂動の境界を特定する。
• 極値理論とP値の尾部挙動を活用して、検出限界を特徴づける。

実験結果

リサーチクエスチョン

• RQ1 (β,r)-平面上のどの領域で、Higher Criticism検定が希少・弱い摂動を検出するために漸近的に最大の検出力を達成するか？
• RQ2 この設定において、密度的およびスパースな連関表の設定で、HCに基づく検定の性能はどのように異なるか？
• RQ3 密度的状況下では、多項分布2標本検定の検出境界が、類似した2標本正規母平均モデルのものと一致するか？
• RQ4 正確な二項P値は、弱くスパースな代替仮説下での検出を可能にする役割を果たすか？
• RQ5 スパース性パラメータβは、高次元離散データにおける摂動の検出可能性にどのように影響を与えるか？

主な発見

• HCに基づく検定は、フェーズ遷移曲線で定義される特定の(β,r)-平面上の領域で、漸近的に最大の検出力を達成する。
• この領域の外側では、検定は漸近的に検出力を持たず、鋭い検出境界が存在することが示された。
• 密度的状況（N ≫ n）では、多項分布検定のフェーズ遷移曲線が2標本正規母平均モデルのものと一致する。
• 本手法はスパース状況（N ≪ n）でも有効であり、密度的状況とは異なる検出境界を示す。
• 正確な二項P値の使用により、標準のカイ二乗検定では見逃されがちな弱くスパースな摂動に対しても感度を発揮できる。
• 分析により、この高次元的・スパース的・希少・弱い設定において、Higher Criticismアプローチが最適であることが確認された。