[论文解读] Fundamental Limits and Tradeoffs in Invariant Representation Learning

Han Zhao, Dan Chen+4 more|arXiv (Cornell University)|Dec 19, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 10

一句话总结

本文从信息论角度分析了表示学习中预测精度与不变性之间的基本权衡，引入了“信息平面”概念，以几何方式刻画精度与不变性的可行区域。针对回归任务，该文给出了该区域的精确表征；针对分类任务，给出了内界，从而能够认证现有算法的次优性，并揭示精度与不变性之间的Pareto最优权衡。

ABSTRACT

A wide range of machine learning applications such as privacy-preserving learning, algorithmic fairness, and domain adaptation/generalization among others, involve learning invariant representations of the data that aim to achieve two competing goals: (a) maximize information or accuracy with respect to a target response, and (b) maximize invariance or independence with respect to a set of protected features (e.g., for fairness, privacy, etc). Despite their wide applicability, theoretical understanding of the optimal tradeoffs -- with respect to accuracy, and invariance -- achievable by invariant representations is still severely lacking. In this paper, we provide an information theoretic analysis of such tradeoffs under both classification and regression settings. More precisely, we provide a geometric characterization of the accuracy and invariance achievable by any representation of the data; we term this feasible region the information plane. We provide an inner bound for this feasible region for the classification case, and an exact characterization for the regression case, which allows us to either bound or exactly characterize the Pareto optimal frontier between accuracy and invariance. Although our contributions are mainly theoretical, a key practical application of our results is in certifying the potential sub-optimality of any given representation learning algorithm for either classification or regression tasks. Our results shed new light on the fundamental interplay between accuracy and invariance, and may be useful in guiding the design of future representation learning algorithms.

研究动机与目标

• 理论理解表示学习中预测精度与不变性之间的极限与权衡。
• 刻画任意数据表示下精度与不变性可行区域（称为“信息平面”）。
• 提供一个框架，用于认证现有表示学习算法的次优性。
• 推导实现精度与不变性之间Pareto最优权衡的解析条件。
• 将离散、无噪声设定下的理论洞见，通过改进的数学工具推广至连续、有噪声设定。

提出的方法

• 引入“信息平面”作为任何数据表示所能实现的精度与不变性可行区域的几何表示。
• 使用方差分解与全方差定律推导条件期望的界，构成理论分析的核心。
• 应用广义柯西-施瓦茨不等式，推导条件期望方差的上下界。
• 采用基于随机化的构造技术，证明可行区域内任意点均可通过表示学习实现。
• 利用基于协方差与方差关系的解析解，精确表征回归任务中Pareto前沿。
• 通过先进信息论工具，将离散、无噪声设定下的结果推广至连续、有噪声设定。

实验结果

研究问题

• RQ1 表示学习中预测精度与不变性之间的基本权衡是什么？
• RQ2 数据表示中精度与不变性可行区域（即“信息平面”）的几何结构是什么？
• RQ3 我们能否在回归任务中精确表征精度与不变性之间的Pareto最优前沿？
• RQ4 在什么条件下可实现可达到的Pareto最优前沿？
• RQ5 我们能否利用理论界来认证现有不变表示学习算法的次优性？

主要发现

• 本文对回归任务的可行区域（信息平面）提供了精确表征，使精度-不变性权衡的精确分析成为可能。
• 对于分类任务，建立了可行区域的内界，提供了对可实现权衡的保守但严谨的近似。
• 在回归中，通过相关系数 $\rho_{YA}^2$ 和方差项，对精度与不变性之间的Pareto最优前沿进行了解析表征。
• 当 $\operatorname{Var}(\mathbb{E}[f_A^*(X)|Z]) = 0$ 时，精度的上界为 $\operatorname{Var}[f_Y^*(X)](1 - \rho_{YA}^2)$，表明在不变性约束下可达到的最大精度。
• 当 $\operatorname{Var}(\mathbb{E}[f_Y^*(X)|Z]) = \operatorname{Var}[f_Y^*(X)]$ 时，不变性的下界为 $\operatorname{Var}[f_Y^*(X)]\rho_{YA}^2$，表明在完全精度下可达到的最小不变性。
• 该理论框架使我们能够在真实数据集上，对分类和回归任务中现有表示学习算法的次优性进行实际认证。