[论文解读] Comparing a Large Number of Multivariate Distributions

Ilmun Kim|arXiv (Cornell University)|Apr 11, 2019

Statistical Methods and Inference参考文献 54被引用 4

一句话总结

该论文提出了一种基于核均值嵌入的非参数K样本检验方法，聚焦于成对最大均值差异（MMD）的最大值，以检测稀疏替代假设。该检验通过置换重抽样实现，理论证明其在原假设下收敛于Gumbel分布，并在稀疏替代假设下达到极小极大率最优，相较于平均型检验在高维、大K设置下表现更优。

ABSTRACT

In this paper, we propose a test for the equality of multiple distributions based on kernel mean embeddings. Our framework provides a flexible way to handle multivariate or even high-dimensional data by virtue of kernel methods and allows the number of distributions to increase with the sample size. This is in contrast to previous studies that have been mostly restricted to classical low-dimensional settings with a fixed number of distributions. By building on Cramer-type moderate deviation for degenerate two-sample V-statistics, we derive the limiting null distribution of the test statistic and show that it converges to a Gumbel distribution. The limiting distribution, however, depends on an infinite number of nuisance parameters, which makes it infeasible for use in practice. To address this issue, the proposed test is implemented via the permutation procedure and is shown to be minimax rate optimal against sparse alternatives. During our analysis, an exponential concentration inequality for the permuted test statistic is developed which may be of independent interest.

研究动机与目标

• 为解决在仅有少数分布不同的稀疏替代假设下，缺乏有效的多变量K样本检验方法的问题。
• 开发一种在样本量N和分布数量K均增大时仍保持有效性的检验方法。
• 克服极限原假设分布的不可计算性，该分布依赖于无穷多个干扰参数。
• 在稀疏替代假设下，建立基于置换检验的理论最优性与一致收敛性。
• 提供一种在高维、大K多变量检验中实用且计算可行的方法。

提出的方法

• 检验统计量定义为所有K个分布之间成对MMD的最大值，利用核均值嵌入实现多变量非参数比较。
• 通过退化两样本V统计量的Cramér型中偏差极限，推导出检验统计量的极限原假设分布，表明其收敛于Gumbel分布。
• 由于极限原假设分布难以计算，检验采用置换程序来确定临界值和p值。
• 利用Bobkov不等式，推导出置换检验统计量的指数集中不等式，仅依赖可观测量，无需矩假设。
• 证明在正则条件下，置换检验在稀疏替代假设下具有统一一致性和极小极大率最优性。
• 模拟采用M=200次随机置换，α=0.05下通过800次重复估计统计功效。

实验结果

研究问题

• RQ1 能否开发一种多变量K样本检验方法，即使在仅少数分布不同的稀疏替代假设下，且K增加时仍保持高统计功效？
• RQ2 在高K、高N渐近框架下，基于核MMD的最大型检验统计量的极限原假设分布是什么？
• RQ3 在极限原假设分布中，如何在实践中克服无穷维干扰参数问题？
• RQ4 基于置换的检验实现是否在稀疏替代假设下具有统一一致性与极小极大最优性？
• RQ5 在高维、稀疏设置下，所提出的最大型检验与平均型MMD检验相比，统计功效如何？

主要发现

• 所提出的基于最大成对MMD的检验在K达到100时仍能实现接近1的统计功效，表明其在稀疏场景下对分布数量增加具有强鲁棒性。
• 相比之下，DISCO和ECF等平均型检验的统计功效随K增加而下降，这是由于平均成对距离中信号被稀释所致。
• 检验统计量的极限原假设分布在原假设下收敛于Gumbel分布，尽管其依赖于无穷多个干扰参数。
• 置换程序在正则条件下具有统一一致性，并在稀疏替代假设下达到极小极大率最优。
• 利用Bobkov不等式推导出置换检验统计量的指数集中不等式，提供了无需矩假设的精确尾部界。
• 该方法在高维设置（d=5）下表现尤为出色，且在每组样本量固定（n=10）时，优于现有方法在稀疏信号检测中的表现。