[论文解读] Bayesian Transfer Learning

Piotr M. Suder, Jason J. Xu+1 more|arXiv (Cornell University)|Dec 20, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文全面综述了贝叶斯迁移学习方法，通过利用相关领域中的先验知识，提升数据稀缺目标领域的推理与预测性能。通过采用层次模型、共享潜在空间和结构化先验，贝叶斯方法实现了连贯的不确定性量化，并稳健处理负迁移问题，在协方差与精度矩阵估计的模拟研究中优于频率学派方法。

ABSTRACT

Transfer learning is a burgeoning concept in statistical machine learning that seeks to improve inference and/or predictive accuracy on a domain of interest by leveraging data from related domains. While the term "transfer learning" has garnered much recent interest, its foundational principles have existed for years under various guises. Prior literature reviews in computer science and electrical engineering have sought to bring these ideas into focus, primarily surveying general methodologies and works from these disciplines. This article highlights Bayesian approaches to transfer learning, which have received relatively limited attention despite their innate compatibility with the notion of drawing upon prior knowledge to guide new learning tasks. Our survey encompasses a wide range of Bayesian transfer learning frameworks applicable to a variety of practical settings. We discuss how these methods address the problem of finding the optimal information to transfer between domains, which is a central question in transfer learning. We illustrate the utility of Bayesian transfer learning methods via a simulation study where we compare performance against frequentist competitors.

研究动机与目标

• 解决在目标数据有限的情况下，相关统计领域之间最优信息迁移的挑战。
• 突出被低估的贝叶斯方法，其天然地整合先验知识，为频率学派迁移学习提供原则性替代方案。
• 展示贝叶斯方法如何通过结构化建模与不确定性量化，有效缓解负迁移问题。
• 提供适用于高维与复杂数据场景的贝叶斯迁移学习方法分类体系。
• 识别有前景的研究方向，特别是在深度学习与非参数模型领域。

提出的方法

• 利用层次模型与随机效应模型，在允许领域特异性差异的同时，实现在不同领域间的信息共享。
• 采用共享潜在空间模型（如多研究因子分析），在具有共同潜在结构的高维数据中实现迁移。
• 应用收缩先验与稀疏性诱导惩罚（如L1范数），以促进协方差与精度矩阵的稳健估计。
• 通过后验推断提供一致的不确定性量化，包括协方差矩阵泛函的可信区间。
• 将SUFA（一种贝叶斯因子模型）与MT-Glasso（多任务图模型Lasso）等方法适配用于迁移学习，即使这些方法最初并非为此任务设计。
• 通过模拟研究将贝叶斯方法与频率学派方法进行比较，基于Frobenius范数与L1范数误差评估性能。

实验结果

研究问题

• RQ1 如何将贝叶斯层次模型调整以实现在相关统计领域之间有效且原则性的知识迁移？
• RQ2 共享潜在空间在提升小样本目标领域推理能力方面发挥何种作用？
• RQ3 在估计准确率与鲁棒性方面，贝叶斯方法相较于频率学派迁移学习方法表现如何？
• RQ4 不确定性量化如何自然地嵌入贝叶斯迁移学习框架中？
• RQ5 避免负迁移的关键挑战是什么？贝叶斯建模如何帮助控制信息迁移的强度与结构？

主要发现

• 贝叶斯方法SUFA在估计协方差与精度矩阵方面优于频率学派竞争方法MT-Glasso与Trans-CLIME，尤其在稳定性和准确性方面表现更优。
• SUFA为正定协方差矩阵提供了可靠的后验分布，从而可对任意感兴趣的泛函实现不确定性量化。
• 尽管SUFA最初设计用于协方差估计，但其在精度矩阵估计方面也表现出竞争力，显示出在相关任务中的鲁棒性。
• Trans-CLIME生成的精度矩阵不稳定且常不可逆，限制了其在协方差估计中的实际应用价值。
• MT-Glasso虽生成可逆矩阵，但其估计值与真实值的偏差大于SUFA，表明其性能次优。
• 模拟结果表明，采用结构化先验的贝叶斯迁移学习可有效缓解负迁移，并在高维、小样本场景下提升估计性能。