[论文解读] Learning Deep Kernels for Non-Parametric Two-Sample Tests

Feng Liu, Wenkai Xu+4 more|arXiv (Cornell University)|Feb 21, 2020

Machine Learning and Data Classification被引用 66

一句话总结

该论文提出基于深度核的两样本检验，通过深度网络学习核以最大化检验功效，在高维、复杂分布中优于传统核方法和基于分类的检验。

ABSTRACT

We propose a class of kernel-based two-sample tests, which aim to determine whether two sets of samples are drawn from the same distribution. Our tests are constructed from kernels parameterized by deep neural nets, trained to maximize test power. These tests adapt to variations in distribution smoothness and shape over space, and are especially suited to high dimensions and complex data. By contrast, the simpler kernels used in prior kernel testing work are spatially homogeneous, and adaptive only in lengthscale. We explain how this scheme includes popular classifier-based two-sample tests as a special case, but improves on them in general. We provide the first proof of consistency for the proposed adaptation method, which applies both to kernels on deep features and to simpler radial basis kernels or multiple kernel learning. In experiments, we establish the superior performance of our deep kernels in hypothesis testing on benchmark and real-world data. The code of our deep-kernel-based two sample tests is available at https://github.com/fengliu90/DK-for-TST.

研究动机与目标

• 在高维和复杂结构数据中推动非参数两样本检验。
• 提出一个将深度特征学习、特征核和输入稳定项相结合的核。
• 通过优化正则化的基于 MMD 的准则来最大化检验功效。
• 为核自适应过程的一致性提供理论保证。
• 在合成数据、物理数据和图像数据集上实证地展示出更优的性能。

提出的方法

• 定义一个深度核 k_ω，它将深度特征映射 φ_ω 与一个简单的特征核以及一个稳定的输入核结合起来： k_ω(x,y) = [(1−ε) κ(φ_ω(x), φ_ω(y)) + ε] q(x,y).
• 通过最大化正则化的功效准则 Ŵ_J(ω) = MMD_u^2(S_P,S_Q;k_ω) / σ̂_H1,λ 来优化核，其中 σ̂_H1,λ 是一个正则化的方差估计。
• 通过小批量随机优化来训练 φ_ω 和核参数 ω，以最大化 Ŵ_J，使用 Adam。
• 将数据分成训练集和测试集以避免数据渗漏；在训练数据上选择核，在保留的测试数据上评估功效。
• 提供基于置换的检验以获得学习核的 p 值和阈值。
• 证明深度核是表征性的，并为核自适应过程提供一致性结果。

实验结果

研究问题

• RQ1 通过深度神经网络学习的核是否可以为基于 MMD 的两样本检验提供比固定核更高的检验功效？
• RQ2 用正则化优化功效准则是否能得到对未见数据有泛化性的核？
• RQ3 在复杂的高维分布上，深度核与基于分类的两样本检验及其他基于核的方法相比如何？
• RQ4 在此自适应框架中，一致性与最佳核选择的理论保证是什么？

主要发现

• 学习到的深度核（MMD-D）在基准和实际数据上比固定参数的深度核替代方案和标准 MMD 的经验检验功效更高。
• MMD-D 在多个数据集上优于简单的高斯长度尺度优化（MMD-O）和基于分类的检验（C2ST-S，C2ST-L），尤其是在样本量较大时。
• 所提出的 Ĵ_λ 标准通过在 MMD 与方差之间取得平衡来引导核选择，作者还建立了核自适应的一致性结果。
• 该框架将基于分类的两样本检验作为一种特殊情况，但深度核提供了更通用和高效的表示。
• 在 Blob、Higgs、MNIST 与 DCGAN 样本及高维高斯混合等数据集上，MMD-D 显示出更高的检验功效且第一类错误受控。