[论文解读] MMD Aggregated Two-Sample Test

Antonin Schrab, Ilmun Kim+4 more|arXiv (Cornell University)|Oct 28, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 48被引用 11

一句话总结

本文提出 MMDAgg，一种基于最大均值差异（MMD）的新型非参数两样本检验方法，通过自适应聚合多个核带宽，无需预留数据或启发式选择。该方法实现了非渐近的 I 类错误控制，并在 Sobolev 球上达到极小极大最优性，仅相差一个迭代对数项，优于现有基于 MMD 的检验方法，在合成数据和真实世界图像数据上表现更优。

ABSTRACT

We propose two novel nonparametric two-sample kernel tests based on the Maximum Mean Discrepancy (MMD). First, for a fixed kernel, we construct an MMD test using either permutations or a wild bootstrap, two popular numerical procedures to determine the test threshold. We prove that this test controls the probability of type I error non-asymptotically. Hence, it can be used reliably even in settings with small sample sizes as it remains well-calibrated, which differs from previous MMD tests which only guarantee correct test level asymptotically. When the difference in densities lies in a Sobolev ball, we prove minimax optimality of our MMD test with a specific kernel depending on the smoothness parameter of the Sobolev ball. In practice, this parameter is unknown and, hence, the optimal MMD test with this particular kernel cannot be used. To overcome this issue, we construct an aggregated test, called MMDAgg, which is adaptive to the smoothness parameter. The test power is maximised over the collection of kernels used, without requiring held-out data for kernel selection (which results in a loss of test power), or arbitrary kernel choices such as the median heuristic. We prove that MMDAgg still controls the level non-asymptotically, and achieves the minimax rate over Sobolev balls, up to an iterated logarithmic term. Our guarantees are not restricted to a specific type of kernel, but hold for any product of one-dimensional translation invariant characteristic kernels. We provide a user-friendly parameter-free implementation of MMDAgg using an adaptive collection of bandwidths. We demonstrate that MMDAgg significantly outperforms alternative state-of-the-art MMD-based two-sample tests on synthetic data satisfying the Sobolev smoothness assumption, and that, on real-world image data, MMDAgg closely matches the power of tests leveraging the use of models such as neural networks.

研究动机与目标

• 为解决现有基于 MMD 的两样本检验在小样本情形下缺乏非渐近 I 类错误控制的问题。
• 开发一种可在未知 Sobolev 球光滑性参数下自适应的检验方法，无需预留数据进行核选择。
• 在保持有限样本有效性与鲁棒性的前提下，实现 Sobolev 球上的极小极大最优性。
• 提供一种实用、用户友好的自适应 MMD 检验实现，采用自动带宽集合。

提出的方法

• 提出一种基于置换或重加权自 resampling 的非渐近 MMD 检验，用于阈值校准，确保在有限样本规模下精确控制 I 类错误率。
• 提出一种使用固定带宽的单一 MMD 检验，针对 Sobolev 球中已知光滑性参数 s 时实现极小极大最优性。
• 通过自适应权重对数据驱动的带宽集合中 MMD 统计量进行聚合，构建 MMDAgg 以最大化检验功效。
• 采用无需参数的带宽集合，基于二进制缩放（λ ∈ {2^{-ℓ} : ℓ = 0,…,ℓ*}），其中 ℓ* 的选择用于平衡偏差与方差。
• 采用 MMD 统计量的加权组合，权重基于原假设下期望方差的倒数，确保稳健聚合。
• 证明 MMDAgg 实现了非渐近的 I 类错误率控制，并在 Sobolev 球上达到极小极大分离速率，仅相差一个迭代对数因子。

实验结果

研究问题

• RQ1 基于 MMD 的非参数两样本检验能否在有限样本规模下保持精确的 I 类错误控制？
• RQ2 是否可能构建一种自适应 MMD 检验，在未知光滑性参数 s 的情况下仍能在 Sobolev 球上实现极小极大最优性？
• RQ3 该检验能否避免因预留数据用于核选择或采用如中位数启发式等任意选择而导致的统计功效损失？
• RQ4 聚合后的 MMD 检验是否能在保持非渐近显著性水平控制的同时实现近似最优的检测率？
• RQ5 MMDAgg 在真实世界图像数据上的性能与基于模型的神经网络方法相比如何？

主要发现

• 所提出的 MMDAgg 检验实现了非渐近的 I 类错误率控制，确保在小样本情形下仍具有可靠的校准能力。
• 当已知光滑性参数 s 时，使用最优带宽的单一 MMD 检验在 Sobolev 球上实现了极小极大最优性。
• MMDAgg 在 Sobolev 球上实现了极小极大分离速率，仅相差因子 (ln ln(m+n))^{-2s/(4s+d)}，该因子在对数项范围内为最优。
• 该检验在光滑性参数 s > 0、半径 R > 0 的 Sobolev 球族 {S_d^s(R) : s > 0, R > 0} 上实现了极小极大自适应性，无需事先知晓 s 或 R。
• 在 Sobolev 平滑性下的合成数据实验中，MMDAgg 显著优于现有基于 MMD 的检验方法，在统计功效方面表现更优。
• 在 MNIST 数据集上，MMDAgg 的功效与基于深度学习的两样本检验相当，展现出在真实世界图像分布偏移检测中的强大实证性能。