[论文解读] Distribution-Free Tests for Sparse Heterogeneous Mixtures

Ery Arias-Castro, Meng Wang|arXiv (Cornell University)|Aug 1, 2013

Bayesian Methods and Mixture Models参考文献 28被引用 12

一句话总结

本文提出了一种无需分布假设、渐近最优的检验方法，用于在效应为正且零分布关于零对称时检测稀疏异质混合。该文提出一种基于对称性的高阶批评型检验，证明其在广义高斯混合模型中可实现所有稀疏性区间下的最优检测性能，优于经典检验方法（如t检验、符号检验和符号秩检验）在稀疏设置下的表现。

ABSTRACT

We consider the problem of detecting sparse heterogeneous mixtures from a nonparametric perspective, and develop distribution-free tests when all effects have the same sign. Specifically, we assume that the null distribution is symmetric about zero, while the true effects have positive median. We evaluate the precise performance of classical tests for the median (t-test, sign test) and classical tests for symmetry (signed-rank, Smirnov, total number of runs, longest run tests) showing that none of them is asymptotically optimal for the normal mixture model in all sparsity regimes. We then suggest two new tests. The main one is a form of Higher Criticism, or Anderson-Darling, test for symmetry. It is shown to be asymptotically optimal for the normal mixture model, and other generalized Gaussian mixture models, in all sparsity regimes. Our numerical experiments confirm our theoretical findings.

研究动机与目标

• 开发无需依赖零分布F知识的无分布假设检验方法，仅假设零分布关于零对称。
• 解决在非零效应比例εₙ → 0的稀疏异质混合检测挑战。
• 识别在广义高斯混合模型下，对所有稀疏性区间（密集与稀疏）均实现渐近最优的检验方法。
• 评估经典非参数检验方法（如符号检验、符号秩检验）并证明其在稀疏区间下的次优性。
• 提出一种基于高阶批评或Anderson-Darling原理的新型检验方法，使其在所有稀疏性区间下实现渐近最优。

提出的方法

• 提出一种基于高阶批评或Anderson-Darling统计量应用于对称性的新检验方法，旨在检测零假设下对称性的偏离。
• 通过数据变换定义一系列符号，表示每个观测值是否超过某一阈值，形成一个二元序列。
• 以连续正号的最长运行长度作为检验统计量，利用独立同分布伯努利序列中运行长度的极值理论结果。
• 通过比较零假设下（i.i.d. 伯努利(1/2)）与备择假设下（成功概率更高）最长运行长度的分布，建立渐近功效。
• 利用Arratia等人（1989）的集中不等式和弱收敛结果，对备择假设下最长运行长度的分布进行界控。
• 通过证明当信号强度μₙ与稀疏性εₙ满足检测边界ρ*ₙ(β)时，该检验可检测到偏离，从而证明其渐近最优性，适用于广义高斯模型。

实验结果

研究问题

• RQ1 经典非参数检验方法（t检验、符号检验、符号秩检验、游程检验）是否能在广义高斯混合模型的所有稀疏性区间下实现渐近最优？
• RQ2 是否存在一种无需分布假设的检验方法，其渐近最优性不依赖于稀疏性水平（密集 vs. 稀疏）及潜在分布F？
• RQ3 基于对称性检测的高阶批评型检验是否在广义高斯混合模型的稀疏区间中优于经典检验方法？
• RQ4 在零分布对称且非零中位数为正的假设下，广义高斯混合模型的精确检测边界是什么？
• RQ5 基于正号最长运行长度的检验是否可在所有稀疏性区间下实现渐近最优？

主要发现

• 经典检验方法（如t检验、符号检验、符号秩检验和游程检验）在广义高斯混合模型中，对所有稀疏性区间均无法实现渐近最优。
• 所提出的基于高阶批评的对称性检验在所有稀疏性区间（包括中等稀疏与极稀疏区间）下均实现渐近最优。
• 该检验方法为无分布假设检验，仅需零分布F连续且关于零对称，无需了解F或G的具体形式。
• 所提检验方法达到了广义高斯模型的检测边界ρ*ₙ(β)，在极限下与似然比检验性能一致。
• 数值实验验证了理论结果，表明在稀疏设置下，新检验方法显著优于经典替代方法。
• 该检验的功效通过比较零假设与备择假设下正号最长运行长度的分布建立，结果显示在备择假设下其长度显著长于零假设下的O(log n)量级。