[论文解读] Information Processing Equalities and the Information-Risk Bridge

Robert C. Williamson, Zac Cranko|arXiv (Cornell University)|Jul 25, 2022

Statistical Mechanics and Entropy被引用 5

一句话总结

本文通过将分歧重新定义为凸集上支撑函数的期望值，提出了一套统一的统计实验信息度量框架。该框架建立了信息度量与贝叶斯风险之间对称且基于等式的联系，广义化了$φ$-分歧、MMD和IPM，并揭示在该框架下，信息处理不等式实为等式，对模型类选择与噪声正则化具有重要意义。

ABSTRACT

We introduce two new classes of measures of information for statistical experiments which generalise and subsume $ϕ$-divergences, integral probability metrics, $\mathfrak{N}$-distances (MMD), and $(f,Γ)$ divergences between two or more distributions. This enables us to derive a simple geometrical relationship between measures of information and the Bayes risk of a statistical decision problem, thus extending the variational $ϕ$-divergence representation to multiple distributions in an entirely symmetric manner. The new families of divergence are closed under the action of Markov operators which yields an information processing equality which is a refinement and generalisation of the classical data processing inequality. This equality gives insight into the significance of the choice of the hypothesis class in classical risk minimization.

研究动机与目标

• 将现有信息度量（如$φ$-分歧、MMD和积分概率度量）广义化并统一为一个对称的框架。
• 建立信息度量与贝叶斯风险之间精确的、基于等式的联系，解决经典信息处理不等式中的不对称性与不等式性。
• 通过将模型约束直接嵌入信息定义，形式化假设类在风险最小化中的作用。
• 证明当信息在该框架中一致度量时，经典信息处理不等式实为等式。
• 为信息度量提供几何与变分基础，自然地融入噪声正则化与马尔可夫算子。

提出的方法

• 将信息度量重新定义为凸集支撑函数的期望值，实现分歧的几何解释。
• 引入两类新的信息度量：无约束型（广义化$φ$-分歧与IPM）与约束型（通过函数类$\mathcal{F}$整合模型类限制）。
• 通过证明马尔可夫算子保持这些信息度量的结构，推导出新的信息处理等式，从而改进经典数据处理不等式。
• 通过嵌入损失函数与假设类的变分表示，建立信息度量与贝叶斯风险之间的一一对应关系。
• 利用Legendre-Fenchel对偶性与凸分析，统一分歧的变分形式，包括多分布情形。
• 将已知度量（如MMD与IPM）重新解释为所提框架的特例，表明其自然源于支撑函数形式。

实验结果

研究问题

• RQ1 如何将现有分歧（如$φ$-分歧、MMD与IPM）统一于单一、对称的框架之下？
• RQ2 在统计决策问题中，信息度量与贝叶斯风险之间的确切关系为何？
• RQ3 为何经典信息处理不等式无法完整反映全貌？如何将其提升为等式？
• RQ4 假设类（如$\mathcal{F}$）的选择如何影响学习问题中的信息含量与风险？
• RQ5 在所提框架下，马尔可夫算子如何保持或转换信息？这如何改进数据处理不等式？

主要发现

• 本文建立了信息度量与贝叶斯风险之间对称且基于等式的桥梁，表明当损失函数与模型类被恰当地考虑时，信息与风险存在一一对应关系。
• 经典数据处理不等式被证明是更一般信息处理等式的特例，其中信息损失通过所提框架被精确量化。
• 新信息度量在马尔可夫算子下封闭，意味着信息处理可作为等式而非不等式分析，且两侧保持一致的度量。
• 该框架自然涵盖并广义化了现有分歧：$φ$-分歧、MMD、IPM与$(f,\Gamma)$-分歧均为所提$\mathfrak{F}$-信息与$\mathcal{F}$-信息族的特例。
• 约束型信息度量（$\mathcal{F}$-信息）揭示出通过函数类限制实现的正则化与信息定义本质相关，验证了其在泛化与鲁棒性中的有效性。
• 支撑函数形式为信息提供了几何解释，明确揭示了假设类与损失函数的作用，解决了经典定义中的模糊性。