[论文解读] Classification Logit Two-sample Testing by Neural Networks

Xiuyuan Cheng, Alexander Cloninger|arXiv (Cornell University)|Sep 25, 2019

Model Reduction and Neural Networks参考文献 61被引用 8

一句话总结

该论文提出了一种基于神经网络的两样本检验方法，利用训练分类器在测试集上得到的对数几率函数之差作为检验统计量。理论上证明了在亚指数分布下具有的一致检验功效，当数据位于低维流形附近时，网络复杂度仅随内在维度增长，实验结果表明其性能优于先前的神经网络方法和基于核的方法。

ABSTRACT

The recent success of generative adversarial networks and variational learning suggests training a classifier network may work well in addressing the classical two-sample problem. Network-based tests have the computational advantage that the algorithm scales to large samples. This paper proposes a two-sample statistic which is the difference of the logit function, provided by a trained classification neural network, evaluated on the testing set split of the two datasets. Theoretically, we prove the testing power to differentiate two sub-exponential densities given that the network is sufficiently parametrized. When the two densities lie on or near to low-dimensional manifolds embedded in possibly high-dimensional space, the needed network complexity is reduced to only scale with the intrinsic dimensionality. Both the approximation and estimation error analysis are based on a new result of near-manifold integral approximation. In experiments, the proposed method demonstrates better performance than previous network-based tests using classification accuracy as the two-sample statistic, and compares favorably to certain kernel maximum mean discrepancy tests on synthetic datasets and hand-written digit datasets.

研究动机与目标

• 利用深度学习解决经典两样本问题，以提升高维数据下的可扩展性和性能。
• 克服传统基于核的检验方法（如MMD）在高维或大样本下性能不佳的局限性。
• 基于训练好的分类神经网络构建一个理论基础坚实、可扩展的两样本检验方法。
• 证明当分布位于低维流形附近时，网络复杂度仅依赖于内在维度，而非环境维度。
• 提出一种基于近流形积分逼近的新理论框架，用于分析近似误差和估计误差。

提出的方法

• 在来自两个分布的合并数据上训练深层神经网络分类器，使用交叉熵损失（等价于最小化Jensen-Shannon散度）。
• 将检验统计量定义为测试集中两组样本平均对数几率（对数似然比）之差。
• 基于新颖的近流形积分逼近结果，建立泛化误差界以控制估计误差。
• 通过证明足够宽且深的网络可将最优对数几率函数近似，且近似误差随内在维度增长，从而建立近似误差界。
• 对Lipschitz函数应用浓度不等式和覆盖论证，以界定经验期望与真实期望之间的偏差。
• 利用对数几率差检验统计量为独立同分布的亚指数随机变量之和的性质，基于中心极限定理实现方差控制，从而保障检验功效。

实验结果

研究问题

• RQ1 训练好的神经网络分类器能否提供一种统计功效强且可扩展的两样本检验统计量？
• RQ2 所需网络复杂度是否随环境维度增长，还是仅随底层数据流形的内在维度增长？
• RQ3 神经网络分类器的近似误差如何影响两样本问题中的检验功效？
• RQ4 所提出的基于对数几率的检验方法能否优于现有方法（如核MMD和基于准确率的神经网络检验）？
• RQ5 在亚指数尾部假设下，该检验的一致性和功效可建立何种理论保证？

主要发现

• 所提出的基于对数几率的检验方法在统计功效上优于以往使用分类准确率作为检验统计量的神经网络方法。
• 在合成流形数据和MNIST数字生成任务中，该方法优于高斯核MMD，尤其在高维设置下表现更优。
• 理论分析表明，当分布位于低维流形附近时，网络复杂度仅随数据流形的内在维度增长，而不随环境维度增长。
• 估计误差由一个涉及内在维度和样本量的项所界定，具体为 $ O((\text{log } n / n)^{1/(2+d)}) $，其中 $ d $ 为内在维度。
• 近似误差通过一种新的近流形积分逼近结果得到控制，该结果界定了有界曲率流形上积分的偏差。
• 在原假设下，检验统计量渐近服从正态分布，且其方差由网络的Lipschitz常数决定，确保了可靠的推断。