[论文解读] General Information Bottleneck Objectives and their Applications to Machine Learning

Sayandev Mukherjee|arXiv (Cornell University)|Dec 12, 2019

Neural Networks and Applications参考文献 12被引用 4

一句话总结

本文引入了一类统一的信息瓶颈目标（IBO）家族，该家族推广了信息瓶颈原理（IBP）和预测信息瓶颈原理（PIBP），解决了IBP/PIBP（其主张最大化模型参数与测试数据之间的互信息）与近期结果（主张最小化该互信息）之间的矛盾。该文推导出一种新的IBO，考虑到模型参数被选择以最小化经验损失，同时提供了用于优化的变分上界，从而调和了相互冲突的理论建议。

ABSTRACT

We view the Information Bottleneck Principle (IBP: Tishby et al., 1999; Schwartz-Ziv and Tishby, 2017) and Predictive Information Bottleneck Principle (PIBP: Still et al., 2007; Alemi, 2019) as special cases of a family of general information bottleneck objectives (IBOs). Each IBO corresponds to a particular constrained optimization problem where the constraints apply to: (a) the mutual information between the training data and the learned model parameters or extracted representation of the data, and (b) the mutual information between the learned model parameters or extracted representation of the data and the test data (if any). The heuristics behind the IBP and PIBP are shown to yield different constraints in the corresponding constrained optimization problem formulations. We show how other heuristics lead to a new IBO, different from both the IBP and PIBP, and use the techniques from (Alemi, 2019) to derive and optimize a variational upper bound on the new IBO. We then apply the theory of general IBOs to resolve the seeming contradiction between, on the one hand, the recommendations of IBP and PIBP to maximize the mutual information between the model parameters and test data, and on the other, recent information-theoretic results (see Xu and Raginsky, 2017) suggesting that this mutual information should be minimized. The key insight is that the heuristics (and thus the constraints in the constrained optimization problems) of IBP and PIBP are not applicable to the scenario analyzed by (Xu and Raginsky, 2017) because the latter makes the additional assumption that the parameters of the trained model have been selected to minimize the empirical loss function. Aided by this insight, we formulate a new IBO that accounts for this property of the parameters of the trained model, and derive and optimize a variational bound on this IBO.

研究动机与目标

• 解决信息瓶颈原理（IBP）与预测信息瓶颈原理（PIBP）之间的明显矛盾，前者主张最大化模型参数与测试数据之间的互信息，而近期的信息论结果（Xu和Raginsky，2017）则建议最小化该互信息。
• 将IBP和PIBP形式化为一类更广泛受约束优化问题的特例，该问题通过模型参数与训练/测试数据之间的互信息约束来定义。
• 识别出IBP和PIBP背后的启发式假设，这些假设使其不适用于Xu和Raginsky（2017）所分析的情境，即模型参数被假定为最小化经验损失。
• 提出一种新的信息瓶颈目标（IBO），明确纳入模型参数被选择以最小化训练集经验损失的约束。
• 利用Alemi（2019）的技术，推导并优化该新IBO的变分上界，从而使其在机器学习中具有实际应用价值。

提出的方法

• 将IBP和PIBP形式化为一类通用信息瓶颈目标（IBO）家族的成员，其形式为 $ I_1 - \nu I_2 $，其中 $ I_1 $ 和 $ I_2 $ 分别为模型参数与训练数据/测试数据之间的互信息。
• 指出IBP和PIBP对应于具有不同约束的受约束优化问题，这些约束基于其底层启发式假设，分别针对 $ I(t;\bm{x_P}) $ 和 $ I(t;\bm{x_F}) $。
• 证明IBP和PIBP的启发式方法不适用于Xu和Raginsky（2017）的情境，后者假设模型参数被选择以最小化经验损失。
• 提出一种新的IBO：$ \max_{p(\theta|\bm{x_P})} \left[ I(\theta;\bm{x_P}|\bm{x_F}) - \beta I(\theta;\bm{x_P}) \right] $，受约束于 $ L(\theta,\bm{x_P}) \leq \epsilon $，其中 $ \beta \geq 1 $。
• 利用与Alemi（2019）相同的框架，为新IBO推导出一个变分上界，从而可通过变分推断实现优化。
• 应用不等式 $ I(\theta;\bm{x_P}|\bm{x_F}) - \beta I(\theta;\bm{x_P}) \leq -\beta H(\bm{x_P}) - \mathbb{E}_{p(\phi)p(\bm{x_P}|\phi)} \log Z_\beta(\bm{x_P}) $，其中 $ Z_\beta $ 通过辅助分布 $ q(\theta) $ 和 $ q(\bm{x_P}|\theta) $ 定义。

实验结果

研究问题

• RQ1 为何IBP和PIBP建议最大化模型参数与测试数据之间的互信息，而近期的泛化界却建议最小化该互信息？
• RQ2 IBP和PIBP启发式方法背后的假设是什么，导致其不适用于Xu和Raginsky（2017）的情境？
• RQ3 如何构建一种新的信息瓶颈目标，以反映模型参数被选择以最小化经验损失的事实？
• RQ4 能否为该新IBO推导并优化一个变分上界，以实现其在机器学习中的实际应用？
• RQ5 该新IBO如何调和泛化理论中关于互信息应最大化还是最小化的相互冲突的建议？

主要发现

• IBP和PIBP被证明是更广泛一类受约束优化问题的特例，该类问题通过模型参数与训练/测试数据之间的互信息约束来定义。
• 关键洞见在于，IBP和PIBP的启发式方法不适用于Xu和Raginsky（2017）的情境，后者假设模型参数被选择以最小化经验损失，而这一条件在IBP或PIBP中并未被假设。
• 提出了一种新的IBO：$ \max_{p(\theta|\bm{x_P})} \left[ I(\theta;\bm{x_P}|\bm{x_F}) - \beta I(\theta;\bm{x_P}) \right] $，其中 $ \beta \geq 1 $，该IBO明确纳入了经验损失最小化的约束。
• 本文推导出该新IBO的紧致变分上界：$ I(\theta;\bm{x_P}|\bm{x_F}) - \beta I(\theta;\bm{x_P}) \leq -\beta H(\bm{x_P}) - \mathbb{E}_{p(\phi)p(\bm{x_P}|\phi)} \log Z_\beta(\bm{x_P}) $，该上界使得通过变分推断实现优化成为可能。
• 新IBO通过显式建模模型参数被选择以最小化训练集经验损失的事实，解决了IBP/PIBP与近期泛化界之间的矛盾。
• 所提出的框架为现有IBP和PIBP目标提供了统一处理方式，并提供了一种原则化方法，用于推导反映真实训练动态的新目标。