[论文解读] Minimax optimality of permutation tests

Ilmun Kim, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Mar 30, 2020

Bayesian Methods and Mixture Models参考文献 65被引用 13

一句话总结

本文通过利用U统计量和基于新颖耦合技术的指数集中不等式，建立了一个分析其功效的一般性框架，证明了在非渐近设置下，置换检验的极小极大最优性。研究表明，无论光滑参数是否已知，置换检验在两样本检验和独立性检验中，对离散和连续分布均能达到极小极大率最优功效。

ABSTRACT

Permutation tests are widely used in statistics, providing a finite-sample guarantee on the type I error rate whenever the distribution of the samples under the null hypothesis is invariant to some rearrangement. Despite its increasing popularity and empirical success, theoretical properties of the permutation test, especially its power, have not been fully explored beyond simple cases. In this paper, we attempt to partly fill this gap by presenting a general non-asymptotic framework for analyzing the minimax power of the permutation test. The utility of our proposed framework is illustrated in the context of two-sample and independence testing under both discrete and continuous settings. In each setting, we introduce permutation tests based on U-statistics and study their minimax performance. We also develop exponential concentration bounds for permuted U-statistics based on a novel coupling idea, which may be of independent interest. Building on these exponential bounds, we introduce permutation tests which are adaptive to unknown smoothness parameters without losing much power. The proposed framework is further illustrated using more sophisticated test statistics including weighted U-statistics for multinomial testing and Gaussian kernel-based statistics for density testing. Finally, we provide some simulation results that further justify the permutation approach.

研究动机与目标

• 为解决在有限样本设置下对置换检验功效的理论理解不足，特别是超出简单情形的情况。
• 构建一个非渐近框架，用于分析置换检验的极小极大第二类错误。
• 在离散和连续分布下，建立两样本检验和独立性检验中置换检验的极小极大率最优性。
• 构造对未知光滑参数具有自适应性的置换检验，使其在不依赖光滑参数先验知识的情况下仍能实现近最优功效。
• 将该框架扩展至复杂检验统计量，如加权U统计量和基于核的统计量，用于密度检验。

提出的方法

• 提出一个基于U统计量的一般性非渐近框架，用于分析置换检验的极小极大功效。
• 引入一种基于新颖耦合方法的技术，推导出置换U统计量的指数集中不等式。
• 利用推导出的集中不等式控制置换检验的随机临界值，从而实现功效分析。
• 将该框架应用于离散和连续分布下的两样本检验和独立性检验。
• 利用Dvoretzky–Kiefer–Wolfowitz不等式，构建了置换分布的蒙特卡洛近似，并给出了有限样本误差界。
• 通过构造在未知光滑性下仍保持极小极大最优性的检验，展示了对未知光滑参数的自适应性。

实验结果

研究问题

• RQ1 在非渐近设置下，置换检验能否在两样本检验和独立性检验中实现极小极大率最优功效？
• RQ2 如何控制置换检验的随机临界值，以实现有限样本下的功效分析？
• RQ3 U统计量及其置换版本在实现极小极大最优性中起什么作用？
• RQ4 能否在不牺牲功效的前提下，使置换检验对未知光滑参数具有自适应性？
• RQ5 置换U统计量的指数集中不等式如何促进置换检验的理论分析？

主要发现

• 基于U统计量的置换检验在离散和连续分布下，均能在两样本检验和独立性检验中实现极小极大率最优性。
• 所提出的框架表明，即使零分布非正态且高维，置换检验仍能保持极小极大功效。
• 通过新颖的耦合技术，推导出置换U统计量的指数集中不等式，该结果本身具有独立的理论价值。
• 该框架使得能够构建对未知光滑参数具有自适应性的置换检验，同时保持近极小极大功效。
• 在较弱条件下，蒙特卡洛近似置换分布可高概率地控制第二类错误。
• 模拟结果支持理论发现，证实了所提出置换检验的有效性和鲁棒性。