[论文解读] A PAC-Bayesian bound for Lifelong Learning

Anastasia Pentina, Christoph H. Lampert|arXiv (Cornell University)|Nov 12, 2013

Domain Adaptation and Few-Shot Learning参考文献 27被引用 121

一句话总结

本文提出了一种用于终身学习的PAC-Bayesian泛化界，该界将参数迁移和表征迁移统一为特例。通过优化该界，作者推导出两种合理的终身学习算法——一种用于迁移分类器权重，另一种用于学习低维特征子空间——其性能与现有方法（如ELLA）相当。

ABSTRACT

Transfer learning has received a lot of attention in the machine learning community over the last years, and several effective algorithms have been developed. However, relatively little is known about their theoretical properties, especially in the setting of lifelong learning, where the goal is to transfer information to tasks for which no data have been observed so far. In this work we study lifelong learning from a theoretical perspective. Our main result is a PAC-Bayesian generalization bound that offers a unified view on existing paradigms for transfer learning, such as the transfer of parameters or the transfer of low-dimensional representations. We also use the bound to derive two principled lifelong learning algorithms, and we show that these yield results comparable with existing methods.

研究动机与目标

• 通过在PAC-Bayesian框架下推导泛化界，为终身学习提供理论基础。
• 在单一理论框架下统一现有的迁移学习范式——参数迁移与表征迁移。
• 从该界推导出基于泛化理论而非启发式方法的合理终身学习算法。
• 使该界可作为转移信息质量的度量，促进算法设计与分析。
• 通过所推导的界，探讨终身学习方法中的隐含假设，特别是关于任务关系与超后验结构的问题。

提出的方法

• 推导出一种依赖于数据表征与学习算法的终身学习PAC-Bayesian泛化界，通过观测任务上的平均损失来量化未来任务上的期望损失。
• 利用该界设计两种算法：一种通过先前任务权重的加权组合来迁移分类器参数，另一种用于为未来任务识别低维特征子空间。
• 将该界应用于线性回归与表征学习场景，证明在特定假设下可恢复先前工作的已知结果。
• 利用Kullback-Leibler散度与Hoeffding引理，通过凸对偶与期望不等式推导出泛化误差的高概率界。
• 通过对超后验分布优化该界，得到合理的学习规则，避免了人为的正则化。
• 在地雷与学校数据集上对方法进行实证验证，与ELLA和ARR进行性能比较，超参数通过模型选择进行调优。

实验结果

研究问题

• RQ1 能否通过单一理论框架统一终身学习中不同的迁移学习范式？
• RQ2 如何构建一个能反映数据表征与学习算法选择的泛化界？
• RQ3 所推导的界能否用于设计性能可与现有启发式方法相媲美或超越的合理终身学习算法？
• RQ4 该界中的超后验分布编码了哪些隐含假设？它们如何影响任务迁移？
• RQ5 在实践中，不同超先验选择（如高斯方差）如何影响所推导算法的性能？

主要发现

• 所提出的PAC-Bayesian界成功地将参数迁移与表征迁移统一为特例，提供了共同的理论基础。
• 所推导的算法性能与现有方法（如ELLA）相当或略优，尤其在超参数调优后表现更佳。
• 在地雷数据集中，参数迁移算法对高斯先验方差（σ = 1 和 σ = 10）的不同取值具有鲁棒性。
• 在学校数据集中，σ的选择显著影响性能：σ = 10时结果几乎与ELLA相当，而σ = 1则导致更保守且效果较差的学习。
• 结果表明，所提方法缺乏稀疏性假设，可能是与ELLA存在性能差距的原因，因为ELLA显式施加了稀疏性。
• 该界可作为转移信息质量的度量，支持合理算法设计，并促进对终身学习方法中隐含假设的分析。