[论文解读] Information, Divergence and Risk for Binary Experiments

Mark D. Reid, Robert C. Williamson|ArXiv.org|Jan 5, 2009

Advanced Statistical Methods and Models参考文献 133被引用 4

一句话总结

本文通过积分和变分表示，统一了 f-散度、Bregman 散度、代理损失界、严格评分规则和信息度量，揭示了它们在代价敏感二分类问题中的共同基础。该文推导出新的、更紧致的代理损失界和广义的 Pinsker 不等式，并通过散度最小化提供了支持向量机（SVM）的新型变分推导。

ABSTRACT

We unify f-divergences, Bregman divergences, surrogate loss bounds (regret bounds), proper scoring rules, matching losses, cost curves, ROC-curves and information. We do this by systematically studying integral and variational representations of these objects and in so doing identify their primitives which all are related to cost-sensitive binary classification. As well as clarifying relationships between generative and discriminative views of learning, the new machinery leads to tight and more general surrogate loss bounds and generalised Pinsker inequalities relating f-divergences to variational divergence. The new viewpoint illuminates existing algorithms: it provides a new derivation of Support Vector Machines in terms of divergences and relates Maximum Mean Discrepancy to Fisher Linear Discriminants. It also suggests new techniques for estimating f-divergences.

研究动机与目标

• 将二元学习中不同概念——如 f-散度、Bregman 散度、风险、遗憾、ROC 曲线和信息——统一于一个共同的数学框架下。
• 识别这些概念背后的基本原语，表明它们均可归约为代价敏感二分类问题。
• 建立更紧致且更一般的代理损失界和广义的 Pinsker 不等式，将 f-散度与变分散度联系起来。
• 通过共享的变分表示，揭示生成式与判别式学习范式之间的深层联系。
• 基于统一框架，提供对已有算法（如 SVM）的新推导和 f-散度的新估计技术。

提出的方法

• 系统地推导 f-散度、Bregman 散度和严格评分规则的积分与变分表示，使用加权积分形式。
• 建立 f-散度与严格评分规则的权函数之间的对应关系，表明匹配的权函数意味着相同的散度或损失。
• 利用泰勒级数展开，统一不同散度与损失类型的积分表示。
• 应用变分优化，将 SVM 推导为最小化经验类条件分布之间广义变分散度的解。
• 通过新变分框架，将最大均值差异（MMD）重新解释为 Fisher 线性判别。
• 提出一种 α 加权的经验近似策略，逆转标准 ERM 的顺序，为学习算法设计提供新的归纳原则。

实验结果

研究问题

• RQ1 f-散度、Bregman 散度、代理损失和严格评分规则如何在单一框架下统一？
• RQ2 在二元实验中，风险、散度和信息背后的基本原语是什么？
• RQ3 能否从统一的变分表示中推导出更紧致的代理损失界和广义的 Pinsker 不等式？
• RQ4 新变分框架如何实现对 SVM 算法的新型推导？
• RQ5 在统一表示下，AUC、ROC 曲线与 f-散度之间存在何种关系？

主要发现

• 本文建立了 f-散度与严格评分规则的权函数之间的直接联系，表明相同的权函数会产生等价的散度或损失。
• 通过将遗憾表示为变分散度，推导出新的、更紧致的代理损失界，推广了经典的 Pinsker 不等式。
• SVM 从变分视角被推导为最小化经验类条件分布之间广义变分散度的解。
• 该框架揭示了统计信息和 f-散度均为 Bregman 信息的特例，统一了它们的处理方式。
• 通过新的积分表示，表明受试者工作特征曲线下面积（AUC）与 f-散度直接相关。
• α 加权的经验近似策略提供了一种新的归纳原则，通过在经验近似前限制函数类来避免过拟合，与标准 ERM 不同。