[论文解读] Empirically Estimable Classification Bounds Based on a New Divergence Measure

Visar Berisha, Alan Wisler+2 more|arXiv (Cornell University)|Dec 19, 2014

Neural Networks and Applications参考文献 35被引用 5

一句话总结

本文提出了一种新颖的非参数 f-散度度量，记为 $\tilde{D}_p(f,g)$，该度量能够实现对二分类贝叶斯错误率（BER）的更紧致且可经验估计的界。该方法避免了密度估计，并在训练与测试数据分布发生偏移时，相较于巴氏距离提供了更优的界，具有理论保证，并在语音分类任务中得到了实证验证。

ABSTRACT

Information divergence functions play a critical role in statistics and information theory. In this paper we show that a non-parametric f-divergence measure can be used to provide improved bounds on the minimum binary classification probability of error for the case when the training and test data are drawn from the same distribution and for the case where there exists some mismatch between training and test distributions. We confirm the theoretical results by designing feature selection algorithms using the criteria from these bounds and by evaluating the algorithms on a series of pathological speech classification tasks.

研究动机与目标

• 开发一种新型非参数 f-散度度量，无需密度估计即可实现对贝叶斯错误率的更紧致且可经验估计的界。
• 将这些界扩展至训练与测试数据分布不同的情况，以应对领域自适应挑战。
• 为新散度度量与切尔诺夫 α-散度家族的关系提供理论依据，特别是其在错误率界方面的表现。
• 基于新散度准则设计并评估特征选择算法，在病理语音分类任务中进行实验。

提出的方法

• 提出一种基于几何平均公式的新型散度度量 $\tilde{D}_p(f,g)$，避免了密度估计，并具有渐近一致性。
• 利用 $\tilde{D}_p(f,g)$ 推导贝叶斯错误率的上下界，表明 $\frac{1}{2} - \frac{1}{2}\sqrt{\tilde{D}_p(f,g)} \leq \epsilon^{\text{Bayes}} \leq \frac{1}{2} - \frac{1}{2}\tilde{D}_p(f,g)$。
• 建立 $\tilde{D}_p(f,g)$ 与切尔诺夫 α-散度之间的局部关系，使界比巴氏距离更紧。
• 应用柯西-施瓦茨不等式，证明在先验相等时，新界比基于巴氏距离的界更紧。
• 通过将目标错误率与源错误率及总变差距离关联，推导出领域自适应的一般化误差界，表达为 $\tilde{D}_{1/2}(f_T, f_S)$。
• 在存在分布不匹配的语音分类任务中，通过基于新散度准则的特征选择算法验证该方法。

实验结果

研究问题

• RQ1 能否构造一种非参数 f-散度，使其对贝叶斯错误率的界比现有度量（如巴氏距离）更紧致且可经验估计？
• RQ2 所提出的散度度量 $\tilde{D}_p(f,g)$ 是否与切尔诺夫 α-散度族保持有意义的关系，特别是在错误率界方面？
• RQ3 当训练与测试数据分布不同时，能否利用新散度度量推导出更紧致的贝叶斯错误率界？
• RQ4 基于新散度准则的特征选择算法在存在分布偏移的真实世界分类任务中表现如何？

主要发现

• 所提出的散度度量 $\tilde{D}_p(f,g)$ 可在无需密度估计的情况下实现对贝叶斯错误率的经验可估计界，适用于高维数据。
• 在先验相等时，新界比基于巴氏距离的界更紧：$\frac{1}{2} - \frac{1}{2}\sqrt{\tilde{D}_{1/2}(f,g)} \leq \epsilon^{\text{Bayes}} \leq \frac{1}{2} - \frac{1}{2}\tilde{D}_{1/2}(f,g)$，且 $\tilde{D}_{1/2}(f,g) \leq BC(f,g)$。
• 基于 $\tilde{D}_{1/2}(f,g)$ 的下界比巴氏下界更紧，因为 $BC^2(f,g) \leq A_{1/2}(f,g) = \tilde{D}_{1/2}(f,g)$，该结论通过柯西-施瓦茨不等式得到证明。
• 该方法提供了领域自适应的一般化误差界：$\epsilon_T(h,y_T) \leq \epsilon_S(h,y_S) + \mathbb{E}_{f_S}[|y_S - y_T|] + 2\sqrt{\tilde{D}_{1/2}(f_T, f_S)}$，将目标错误率与源错误率及分布偏移联系起来。
• 在病理语音分类任务上的实证评估表明，基于 $\tilde{D}_p(f,g)$ 的特征选择可提升分类性能，验证了理论界的正确性。