[论文解读] Interpretable Distribution Features with Maximum Testing Power

Wittawat Jitkrittum, Zoltán Szabó+2 more|arXiv (Cornell University)|May 22, 2016

Statistical Methods and Inference参考文献 22被引用 18

一句话总结

该论文通过优化空间和频域特征以最大化统计检验效能，提出了一组具有可解释性的分布特征，实现了最大检验功效。该工作引入了ME和SCF检验方法，利用在学习到的位置上评估的解析函数，实现了与二次时间复杂度的MMD相当的线性时间性能，同时提供了对高维分布（如文本和图像）之间差异的人类可解释性区分。

ABSTRACT

Two semimetrics on probability distributions are proposed, given as the sum of differences of expectations of analytic functions evaluated at spatial or frequency locations (i.e, features). The features are chosen so as to maximize the distinguishability of the distributions, by optimizing a lower bound on test power for a statistical test using these features. The result is a parsimonious and interpretable indication of how and where two distributions differ locally. An empirical estimate of the test power criterion converges with increasing sample size, ensuring the quality of the returned features. In real-world benchmarks on high-dimensional text and image data, linear-time tests using the proposed semimetrics achieve comparable performance to the state-of-the-art quadratic-time maximum mean discrepancy test, while returning human-interpretable features that explain the test results.

研究动机与目标

• 开发一种方法，用于识别高维空间中两个概率分布之间的可解释、区分性特征。
• 在确保特征可解释性的前提下，最大化两样本检验的统计检验功效。
• 实现在线性时间内的检验，其性能与最先进的二次时间方法（如MMD）相当或更优。
• 提供一种有原则的、收敛的特征学习方法，以突出显示分布之间的局部差异。

提出的方法

• 该方法通过优化检验功效的下界，选择能最大化分布期望差异的空间（ME检验）或频域（SCF检验）位置。
• 利用在这些优化位置上评估的解析函数计算分布之间的半度量，实现线性时间计算。
• 特征选择基于在保留数据上估计的一致目标函数，确保经验检验功效准则的收敛性。
• 该方法利用核方法和特征函数，理论证明了在高斯核上检验功效估计的统一收敛性。
• ME检验在优化的空间点上使用均值嵌入；SCF检验在优化的频域点上使用平滑的经验特征函数。
• 理论分析证明，检验功效准则的经验估计值会一致收敛到其总体值，从而确保特征选择的可靠性。

实验结果

研究问题

• RQ1 我们能否识别出一组小而可解释的特征，以最好地区分两个高维概率分布？
• RQ2 如何优化特征位置以最大化两样本检验的统计功效？
• RQ3 线性时间两样本检验能否在保持可解释性的同时，实现与二次时间MMD相当的性能？
• RQ4 在所提出的优化下，检验功效准则的经验估计值是否一致收敛到其总体值？
• RQ5 所提出的方法能否揭示复杂数据（如文本和人脸图像）中具有意义且人类可解释的差异？

主要发现

• 所提出的ME和SCF检验在实现线性时间的同时，其检验性能与最先进的二次时间MMD检验相当。
• 检验功效准则的经验估计值一致收敛到其总体值，验证了所学习特征的可靠性。
• 该方法在文本（NIPS论文集）和图像（人脸表情）数据中发现了可解释的特征，能够清晰解释分布差异。
• 优化后的特征显著优于Chwialkowski等人（2015）中的随机特征选择，展现出更高的检验功效。
• 该方法提供了一种简洁且可解释的方式，明确指出两个分布在哪里以及以何种方式存在局部差异，克服了高维空间中不可可视化判别函数的局限性。
• 理论收敛保证确保了特征选择过程在样本量增加时具有统计上的稳健性和可靠性。