[论文解读] Everything old is new again: A multi-view learning approach to learning using privileged information and distillation

Weiran Wang|arXiv (Cornell University)|Mar 8, 2019

Advanced Bandit Algorithms Research参考文献 16被引用 3

一句话总结

本文提出了一种统一的多视图学习框架，通过正则化经验风险最小化（RERM）目标，将使用特权信息（LUPI）与知识蒸馏相结合，鼓励学生与教师预测器之间达成一致。在对模型性能持乐观假设的前提下，该方法通过基于典型相关分析（CCA）的正则化减少有效假设空间，实现了更快的收敛速率——具体表现为改进的 O(1/n) 速率。

ABSTRACT

We adopt a multi-view approach for analyzing two knowledge transfer settings---learning using privileged information (LUPI) and distillation---in a common framework. Under reasonable assumptions about the complexities of hypothesis spaces, and being optimistic about the expected loss achievable by the student (in distillation) and a transformed teacher predictor (in LUPI), we show that encouraging agreement between the teacher and the student leads to reduced search space. As a result, improved convergence rate can be obtained with regularized empirical risk minimization.

研究动机与目标

• 在统一的多视图学习框架下，统一分析使用特权信息（LUPI）与知识蒸馏的方法。
• 研究学生与教师预测器之间的一致性如何缩小最优模型的搜索空间。
• 建立理论条件，证明在 LUPI 与知识蒸馏设置下，实现更快收敛速率（O(1/n)）的可能性。
• 形式化典型相关分析（CCA）在控制模型复杂度与提升泛化能力中的作用。
• 提供一种可优化的实用正则化器，基于预测差异，实现在两种设置下的泛化性能改进。

提出的方法

• 将标准特征与特权信息（在 LUPI 中）或软目标（在知识蒸馏中）视为输入数据的两个视图。
• 构建一个正则化经验风险最小化（RERM）目标，对学生的预测与教师的预测之间的平方差进行惩罚。
• 使用典型相关分析（CCA）定义一个坐标系，以控制假设类的复杂度。
• 假设性能乐观：学生可在知识蒸馏中实现低期望损失，且经变换的教师预测器在 LUPI 中表现良好。
• 推导收敛界，表明正则化可使更多最优损失值达到 O(1/n) 的收敛速率。
• 证明当典型相关系数 λ₁ < 1 时，正则化器在学生与教师参数上均为强凸，从而实现有效的复杂度控制。

实验结果

研究问题

• RQ1 LUPI 与知识蒸馏能否在单一多视图学习框架下被形式化统一？
• RQ2 在何种条件下，鼓励学生与教师预测器之间的一致性可实现更快的收敛？
• RQ3 使用典型相关分析（CCA）如何促进假设空间中的复杂度控制？
• RQ4 对教师与学生性能的乐观假设对收敛速率有何影响？
• RQ5 基于预测差异的简单、可微正则化器是否能在 LUPI 与知识蒸馏中均优于标准 ERM？

主要发现

• 在乐观假设下，所提出的带预测差异正则化器的 RERM 框架，其收敛速率快于标准 ERM，达到 O(1/n)。
• 由于两视图之间的一致性，有效假设空间被缩小，从而提升泛化性能并实现更快学习。
• 当典型相关系数 λ₁ < 1 时，正则化器确保学生与教师参数的强凸性，从而支持更紧致的泛化界。
• 假设类的复杂度通过特权视图的方差（S²）得到有效控制，尤其当 S² ≪ B² 时，如引理 10 所示。
• 期望损失的界为 O(α/n + √(αL*/n))，其中 α 是模型与数据属性的函数，表明其收敛性优于基线方法。
• 该方法可推广至非配对数据，适用于具有未配对或类别不平衡标注数据的场景。