[论文解读] A Theory of Usable Information Under Computational Constraints

Yilun Xu, Shengjia Zhao+3 more|arXiv (Cornell University)|Feb 25, 2020

Machine Learning and Algorithms参考文献 30被引用 31

一句话总结

本文提出预测性V信息，一种对香农信息的变分扩展，考虑计算约束和观测者能力，使在具有PAC保证的估计成为可能，并改善结构与公平表示学习。

ABSTRACT

We propose a new framework for reasoning about information in complex systems. Our foundation is based on a variational extension of Shannon's information theory that takes into account the modeling power and computational constraints of the observer. The resulting \emph{predictive $\mathcal{V}$-information} encompasses mutual information and other notions of informativeness such as the coefficient of determination. Unlike Shannon's mutual information and in violation of the data processing inequality, $\mathcal{V}$-information can be created through computation. This is consistent with deep neural networks extracting hierarchies of progressively more informative features in representation learning. Additionally, we show that by incorporating computational constraints, $\mathcal{V}$-information can be reliably estimated from data even in high dimensions with PAC-style guarantees. Empirically, we demonstrate predictive $\mathcal{V}$-information is more effective than mutual information for structure learning and fair representation learning.

研究动机与目标

• 提出一个可计算的信息概念，反映观察者的建模能力和资源上限。
• 将预测性V熵和预测性V信息定义为香农熵和互信息的受约束对等物。
• 证明在复杂度界限下，V信息可以用类似PAC的保证进行估计。
• 展示与传统互信息相比，V信息如何在结构学习和公平表示学习中带来改进。

提出的方法

• 定义一个具有可选无知的预测族V，并用它将预测性V-熵H_V(Y|X)定义为V上的期望负对数似然的下确界。
• 定义预测性V信息I_V(X -> Y) = H_V(Y|∅) - H_V(Y|X)。
• 将V信息与如香农熵和R^2在合适的V取值下的特殊情况相关联。
• 提出一个使用经验数据的I_V的PAC风格估计器，并通过Rademacher复杂度来界定其误差（定理1）。
• 开发一个结构学习算法（算法1），使用V信息在有向边上的信息以及Chu-Liu算法来构建最大有向生成树（定理2）。
• 展示V信息在Chow-Liu树构建和基因网络推断中的经验优势，并显示其在公平性方面的适用性。

实验结果

研究问题

• RQ1 在计算和建模能力受限时，信息如何定义？
• RQ2 预测性V信息是否能推广互信息并在有限样本下在复杂度约束下仍可估计？
• RQ3 相较于基于香农的方法，使用V信息是否改善结构学习和公平性任务？
• RQ4 是否存在利用V信息的实用算法，能够为学习分层结构提供有限样本保证？
• RQ5 在数据处理和预测任务中的不对称性下，V信息的表现如何？

主要发现

• 预测性V信息推广互信息，在不受限的预测族下退化为互信息。
• 当预测族具有界定的复杂度时，V信息可以用PAC风格的保证估计（定理1）。
• 使用V信息的有向树结构学习方法（算法1）具有有限样本性能保证（定理2）。
• 实证结果表明，基于V信息的Chow-Liu树在高维结构学习和基因网络推断中优于基于互信息的方法。
• V信息在表示学习的公平性方面提供优势，凸显在模型类约束下MI方法的局限性。）