[論文レビュー] Distribution-Free Tests for Sparse Heterogeneous Mixtures

Ery Arias-Castro, Meng Wang|arXiv (Cornell University)|Aug 1, 2013

Bayesian Methods and Mixture Models参考文献 28被引用数 12

ひとこと要約

本稿では、効果が正であり、帰無分布が0を中心に対称である状況において、スパースで不均一な混合を検出するための分布フリーで漸近的に最適な検定を提案する。対称性に基づくハイパーカリティック型検定を導入し、一般化ガウス混合モデルにおいて、すべてのスパarsityレジームで最適な検出性能を達成することを示し、スパースな設定ではt検定、符号検定、Signed-rank検定といった古典的検定を上回ることを示した。

ABSTRACT

We consider the problem of detecting sparse heterogeneous mixtures from a nonparametric perspective, and develop distribution-free tests when all effects have the same sign. Specifically, we assume that the null distribution is symmetric about zero, while the true effects have positive median. We evaluate the precise performance of classical tests for the median (t-test, sign test) and classical tests for symmetry (signed-rank, Smirnov, total number of runs, longest run tests) showing that none of them is asymptotically optimal for the normal mixture model in all sparsity regimes. We then suggest two new tests. The main one is a form of Higher Criticism, or Anderson-Darling, test for symmetry. It is shown to be asymptotically optimal for the normal mixture model, and other generalized Gaussian mixture models, in all sparsity regimes. Our numerical experiments confirm our theoretical findings.

研究の動機と目的

• 帰無分布Fの知識に依存しない分布フリーの検定を開発すること。ただし、0を中心に対称であるものと仮定する。
• 非ノンマルの効果の割合εₙ → 0 となるスパースな不均一混合の検出という課題に対処すること。
• 一般化ガウス混合モデルの下で、密度的およびスパースな両方のスパarsityレジームにおいて、漸近的に最適な検定を特定すること。
• 古典的ノンパラメトリック検定（例：符号検定、Signed-rank検定）を評価し、スパースレジームにおけるその非最適性を示すこと。
• ハイパーカリティックまたはアンドリューズ＝ダーリングの原理に基づく新しい検定を提案し、すべてのスパarsityレジームで漸近的最適性を達成すること。

提案手法

• 帰無仮説における対称性の逸脱を検出することを目的とした、対称性に基づくハイパーカリティックまたはアンドリューズ＝ダーリング統計量を用いた新しい検定を提案する。
• 観測値がしきい値を超えるかどうかを示す符号の系列を、データの変換によって定義し、バイナリ系列を形成する。
• 連続する正の符号の最大連続長を検定統計量として用い、i.i.d. ベルヌーイ系列における連続長の極値理論の結果を活用する。
• 帰無仮説（i.i.d. ベルヌーイ(1/2)）と代替仮説（より高い成功確率）の下での最大連続長の分布を比較することで、漸近的パワーを確立する。
• Arratiaら（1989）の濃度不等式および弱収束結果を用いて、代替仮説下での最大連続長の分布を制限する。
• 信号強度μₙとスパarsity εₙが検出境界ρ*ₙ(β)を満たす場合に、検定が逸脱を検出できることを示し、漸近的最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 古典的ノンパラメトリック検定（t検定、符号検定、Signed-rank検定、ラン検定）は、一般化ガウス混合モデルにおけるすべてのスパarsityレジームで漸近的最適性を達成できるか？
• RQ2 スパarsityレベル（密度的 vs. スパース）や母集団分布Fに依存せずに、漸近的最適性を維持する分布フリーの検定は存在するか？
• RQ3 対称性検出に基づくハイパーカリティック型検定は、一般化ガウス混合モデルのスパースレジームにおいて、古典的検定を上回る性能を示すか？
• RQ4 0を中心に対称な帰無分布と正の中央値非ノンマル効果を仮定した一般化ガウス混合モデルにおける、正確な検出境界は何か？
• RQ5 正の符号の最大連続長に基づく検定は、すべてのスパarsityレジームで漸近的最適性を達成できるか？

主な発見

• t検定、符号検定、Signed-rank検定、ラン検定などの古典的検定は、一般化ガウス混合モデルにおいて、すべてのスパarsityレジームで漸近的に最適ではない。
• 提案されたハイパーカリティックに基づく対称性検定は、中程度および極めてスパースな両レジームを含め、すべてのスパarsityレジームで漸近的に最適である。
• 検定は分布フリーであり、帰無分布Fが連続的かつ0を中心に対称であることを仮定するだけであり、FやGの知識は不要である。
• 一般化ガウスモデルにおける検出境界ρ*ₙ(β)は、提案された検定によって達成され、最尤比検定の極限での性能と一致する。
• 数値実験により理論的結果が確認され、スパースな設定では新検定が古典的代替手法を上回ることを示した。
• 検定のパワーは、帰無仮説下（O(log n)のオーダー）と代替仮説下での正の符号の最大連続長の比較により確立され、代替仮説下では帰無仮説よりも著しく長い連続長が観測される。