[论文解读] Confusion Matrix Stability Bounds for Multiclass Classification

Pierre Machart, Liva Ralaivola|arXiv (Cornell University)|Feb 28, 2012

Sparse and Compressive Sensing Techniques参考文献 14被引用 22

一句话总结

本文通过将混淆矩阵作为主要性能度量，提出了一种新颖的多分类学习理论框架，基于一种新的‘混淆稳定性’概念，利用矩阵集中不等式推导出泛化界。关键贡献是针对混淆矩阵的算子范数，提出了基于稳定性的泛化界，并通过证明两种SVM变体具有混淆稳定性及显式误差界，完成了验证。

ABSTRACT

In this paper, we provide new theoretical results on the generalization properties of learning algorithms for multiclass classification problems. The originality of our work is that we propose to use the confusion matrix of a classifier as a measure of its quality; our contribution is in the line of work which attempts to set up and study the statistical properties of new evaluation measures such as, e.g. ROC curves. In the confusion-based learning framework we propose, we claim that a targetted objective is to minimize the size of the confusion matrix C, measured through its operator norm ||C||. We derive generalization bounds on the (size of the) confusion matrix in an extended framework of uniform stability, adapted to the case of matrix valued loss. Pivotal to our study is a very recent matrix concentration inequality that generalizes McDiarmid's inequality. As an illustration of the relevance of our theoretical results, we show how two SVM learning procedures can be proved to be confusion-friendly. To the best of our knowledge, the present paper is the first that focuses on the confusion matrix from a theoretical point of view.

研究动机与目标

• 建立一种基于混淆矩阵而非误分类率等标量指标的多分类学习算法理论评估框架。
• 解决多分类学习中混淆矩阵作为性能度量缺乏理论分析的问题。
• 将统一稳定性理论扩展至矩阵值损失函数，特别聚焦于混淆矩阵的算子范数。
• 通过证明两种现有多分类SVM算法的泛化界，展示该框架的适用性。
• 探索非交换集中不等式在分析复杂学习场景（超越标准标量损失）中的潜力。

提出的方法

• 引入一种新的稳定性概念——混淆稳定性，通过训练数据扰动下混淆矩阵的算子范数进行定义。
• 改编一种近期的矩阵集中不等式（推广McDiarmid不等式）以推导经验混淆矩阵与真实混淆矩阵之间差异的高概率界。
• 基于混淆矩阵定义一种矩阵值损失函数，目标是将其中的算子范数最小化作为学习目标。
• 将推导出的泛化界应用于两种多分类SVM算法：一种基于LLW（Liu, Lin, 和 Wang）模型，另一种基于WW（Weston 和 Watkins）模型。
• 利用损失函数的多可容许性及正则化优化，控制预测输出的大小，从而使得集中不等式得以应用。
• 推导出经验混淆矩阵与其期望值之间偏差的显式高概率界，参数化于核范数、正则化参数及数据分布。

实验结果

研究问题

• RQ1 混淆矩阵能否作为多分类学习中原则性且理论基础坚实的性能度量？
• RQ2 在新的稳定性框架下，能否为混淆矩阵的算子范数推导出泛化界？
• RQ3 现有的多分类SVM算法（如LLW和WW）在混淆矩阵意义上是否本质上具有稳定性？
• RQ4 如何利用非交换集中不等式分析矩阵值泛化误差？
• RQ5 所提出的框架能否扩展至其他复杂学习问题，如结构化预测或算子学习？

主要发现

• 本文首次建立了基于混淆矩阵算子范数的泛化界，为将其作为性能度量提供了理论基础。
• 对于LLW SVM模型，混淆矩阵偏差的界为 $ \sum_{q} \frac{Q\kappa^{2}}{\lambda m_{q}} + \frac{\sqrt{8\ln(Q^{2}/\delta)} \left( \frac{2Q^{2}\kappa^{2}}{\lambda} + \left( \frac{Q\kappa}{\sqrt{\lambda}} + 1 \right) Q\sqrt{Q} \right)}{\sqrt{m^{*}}} $，以高概率成立。
• 对于WW SVM模型，该界为 $ \sum_{q} \frac{Q^{2}\kappa^{2}}{2\lambda m_{q}} + \frac{\sqrt{8\ln(Q^{2}/\delta)} \left( \frac{Q^{3}\kappa^{2}}{\lambda} + Q^{2} \left( \sqrt{Q} + \kappa \frac{Q}{\sqrt{\lambda}} \right) \right)}{\sqrt{m^{*}}} $，显示出对 $ Q $ 更强的依赖性。
• 分析证明了LLW和WW SVM算法均具有混淆稳定性，即在所提出的框架下其混淆矩阵具有良好的泛化能力。
• 本文表明，最小化混淆矩阵范数可作为副产品导出对误分类率的界，验证了其作为代理目标的相关性。
• 理论结果证实，所提出的框架通过非交换集中不等式，将标量值稳定性理论扩展至矩阵值损失。