[论文解读] Gradient-EM Bayesian Meta-learning

Yayi Zou, Xiaoqi Lu|arXiv (Cornell University)|Jun 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 10被引用 4

一句话总结

本文提出梯度-EM贝叶斯元学习（GEM-BML），一种新颖的贝叶斯元学习框架，通过受梯度-EM启发的算法将内循环更新与元更新解耦，避免在元更新中反向传播。该方法在少样本回归、图像分类和强化学习任务中均实现了更快的适应速度、更优的不确定性估计以及更低的计算成本。

ABSTRACT

Bayesian meta-learning enables robust and fast adaptation to new tasks with uncertainty assessment. The key idea behind Bayesian meta-learning is empirical Bayes inference of hierarchical model. In this work, we extend this framework to include a variety of existing methods, before proposing our variant based on gradient-EM algorithm. Our method improves computational efficiency by avoiding back-propagation computation in the meta-update step, which is exhausting for deep neural networks. Furthermore, it provides flexibility to the inner-update optimization procedure by decoupling it from meta-update. Experiments on sinusoidal regression, few-shot image classification, and policy-based reinforcement learning show that our method not only achieves better accuracy with less computation cost, but is also more robust to uncertainty.

研究动机与目标

• 解决贝叶斯元学习中元更新计算成本过高的问题，特别是在反向传播通过内循环优化步骤时。
• 通过利用贝叶斯推断，提升少样本学习和强化学习中的鲁棒性与不确定性校准能力。
• 将内更新与元更新过程解耦，以增强优化选择的灵活性，并支持分布式或私有化学习。
• 将经验贝叶斯框架扩展至强化学习场景，此前该问题尚未得到系统性解决。
• 开发一种可扩展、高效的替代方法，以替代现有基于梯度的贝叶斯元学习方法，后者依赖隐式微分或二阶梯度。

提出的方法

• 提出一种基于梯度-EM的算法，无需通过内循环优化路径反向传播即可计算元梯度。
• 使用对任务特定参数后验的变分近似，以高效计算元损失梯度。
• 通过仅依赖内优化参数的最终值而非完整优化轨迹，实现元更新与内更新的解耦。
• 将该方法应用于监督学习与强化学习场景，采用统一的贝叶斯元学习公式。
• 引入一种改进的损失函数 $ L^{[2]} $，在保持计算效率的同时，实现策略型强化学习中的稳定训练。
• 基于梯度-EM定理的理论基础，推导出元参数的稳定且可扩展的更新规则。

实验结果

研究问题

• RQ1 我们能否设计一种贝叶斯元学习方法，在避免反向传播通过内循环优化过程的同时保持性能？
• RQ2 将内更新与元更新解耦，对少样本学习中的不确定性估计与鲁棒性有何影响？
• RQ3 所提出的方法能否成功扩展至策略型强化学习，其中以往的贝叶斯元学习方法均面临困难？
• RQ4 $ L^{[2]} $ 变体在强化学习设置中的训练稳定性与性能方面有何影响？
• RQ5 该方法在不牺牲准确性或不确定性校准的前提下，能在多大程度上提升计算效率？

主要发现

• 所提出的GEM-BML方法通过消除对内优化步骤进行反向传播的需求，显著降低了元更新的计算成本。
• 在正弦回归和少样本图像分类任务中，GEM-BML以更少的内更新步数和更低的内存占用，实现了最先进性能。
• 在强化学习中，GEM-BML的 $ L^{[2]} $ 变体实现了稳定且高效的训练，首次展示了适用于策略型强化学习的贝叶斯元学习框架。
• 与确定性MAML及其他基于梯度的基线方法相比，该方法提供了更可靠的预测不确定性估计。
• 实验表明，即使在使用大量内更新步数的情况下，GEM-BML仍能保持高准确率，而标准MAML类方法则难以实现。
• 解耦的更新机制使得该方法在分布式和隐私保护型元学习中具备潜在应用价值，因为无需在设备间传输梯度。