[论文解读] Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks

Haebeom Lee, Hayeon Lee+5 more|arXiv (Cornell University)|May 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用 56

一句话总结

本文提出贝叶斯任务自适应元学习（Bayesian TAML），在任务和类别不平衡及分布外（OOD）情景下，使用变分推断自适应地平衡元知识与任务/类别特定学习。它在现实的不平衡小样本基准上优于现有元学习方法。

ABSTRACT

While tasks could come with varying the number of instances and classes in realistic settings, the existing meta-learning approaches for few-shot classification assume that the number of instances per task and class is fixed. Due to such restriction, they learn to equally utilize the meta-knowledge across all the tasks, even when the number of instances per task and class largely varies. Moreover, they do not consider distributional difference in unseen tasks, on which the meta-knowledge may have less usefulness depending on the task relatedness. To overcome these limitations, we propose a novel meta-learning model that adaptively balances the effect of the meta-learning and task-specific learning within each task. Through the learning of the balancing variables, we can decide whether to obtain a solution by relying on the meta-knowledge or task-specific learning. We formulate this objective into a Bayesian inference framework and tackle it using variational inference. We validate our Bayesian Task-Adaptive Meta-Learning (Bayesian TAML) on multiple realistic task- and class-imbalanced datasets, on which it significantly outperforms existing meta-learning approaches. Further ablation study confirms the effectiveness of each balancing component and the Bayesian learning framework.

研究动机与目标

• 在具有真实任务分布、每个任务和每个类别具有不同拍数的情景下，激发元学习的研究动机。
• 开发一个框架，使每个任务和每个类别都能自适应地平衡元知识与任务特定学习。
• 在统一的贝叶斯元学习模型中处理类别不平衡、任务不平衡和分布外任务。
• 提出三个平衡变量，用于调节每个任务的学习动力学与初始化。
• 在不平衡小样本基准上验证该方法，并分析各组件的贡献。

提出的方法

• 引入与任务相关的平衡变量来调整内梯度更新：按类别的学习率权重、逐层学习率乘子，以及与任务相关的初始参数调制。
• 将贝叶斯元学习目标与对平衡变量的摊销变分后验结合，以捕捉不确定性（带 KL正则化的变分下界）。
• 使用分层集合编码器 StatisticsPooling，从各类别样本中编码任务表示，生成平衡变量的输入。
• 推导将平衡变量整合到 MAML 风格的内循环更新中的更新规则。
• 在元测试阶段进行 MC 采样，以近似预测分布并捕捉平衡变量的不确定性。

实验结果

研究问题

• RQ1 在现实不平衡和分布漂移下，基于贝叶斯、任务与类别自适应的平衡机制是否能提升小样本学习？
• RQ2 任务相关初始化、按类别梯度缩放和按层学习率调制在不平衡与OOD任务中的表现贡献如何？
• RQ3 对平衡变量进行摊销变分推断是否能在多样化的任务分布中产生鲁棒的任务特异预测？
• RQ4 分层集合编码器在捕捉用于生成平衡变量的任务统计信息方面是否有效？
• RQ5 在不平衡与OOD基准上，所提的平衡组件是否相对于强基线元学习方法获得可衡量的增益？

主要发现

• Bayesian TAML在不平衡和OOD的小样本分类基准上显著优于强基线元学习方法。
• 这三个平衡变量通过自适应调制元学习与任务特定学习，能够有效处理任务不平衡(gamma)、类别不平衡(omega)和分布偏移(z)。
• 对平衡变量进行贝叶斯建模和 MC 采样在分布外任务上尤其带来显著提升。
• 基于分层集合统计量（均值、方差、基数）的任务编码器有助于对平衡变量的有效推断。
• 消融研究表明每个平衡组件对总体表现的贡献。
• 对平衡变量进行贝叶斯处理的模型变体优于确定性对手，显示了在平衡决策中考虑不确定性的价值。