[论文解读] Auxiliary Task Reweighting for Minimum-data Learning

Baifeng Shi, Judy Hoffman+3 more|arXiv (Cornell University)|Oct 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用 14

一句话总结

该论文提出了一种自监督的辅助任务重加权方法，可在联合训练过程中自动学习最优任务权重，从而最小化主任务的数据需求。通过将辅助任务的似然性形式化为代理先验，并利用基于梯度的优化最小化该代理先验与真实先验之间的差异，该方法在极少标注数据下实现了最先进性能——即使在少样本设置中每类仅有一个标注样本时也表现出显著提升。

ABSTRACT

Supervised learning requires a large amount of training data, limiting its application where labeled data is scarce. To compensate for data scarcity, one possible method is to utilize auxiliary tasks to provide additional supervision for the main task. Assigning and optimizing the importance weights for different auxiliary tasks remains an crucial and largely understudied research question. In this work, we propose a method to automatically reweight auxiliary tasks in order to reduce the data requirement on the main task. Specifically, we formulate the weighted likelihood function of auxiliary tasks as a surrogate prior for the main task. By adjusting the auxiliary task weights to minimize the divergence between the surrogate prior and the true prior of the main task, we obtain a more accurate prior estimation, achieving the goal of minimizing the required amount of training data for the main task and avoiding a costly grid search. In multiple experimental settings (e.g. semi-supervised learning, multi-label classification), we demonstrate that our algorithm can effectively utilize limited labeled data of the main task with the benefit of auxiliary tasks compared with previous task reweighting methods. We also show that under extreme cases with only a few extra examples (e.g. few-shot domain adaptation), our algorithm results in significant improvement over the baseline.

研究动机与目标

• 解决监督深度学习中有限标注数据的挑战，特别是在少样本学习和半监督设置等低数据场景下。
• 克服基于人工或网格搜索的任务加权方法的局限性，后者计算成本高且次优。
• 通过自适应重加权辅助任务来学习高质量主任务先验，从而提升泛化能力和数据效率。
• 实现在无需详尽搜索或任务相关性先验知识的前提下，有效利用辅助任务。

提出的方法

• 将由辅助任务似然性诱导的参数分布形式化为主任务的代理先验。
• 通过最小化代理先验与主任务真实先验之间的差异来优化辅助任务权重。
• 通过最小化主任务损失梯度与加权辅助任务损失梯度之间的L2距离，近似处理不可计算的差异最小化。
• 采用两阶段训练流程：首先使用Langevin动力学从后验分布中采样，然后通过基于梯度的优化重新加权任务。
• 通过将两个阶段合并为单一端到端训练循环，简化算法，同步更新模型参数与任务权重。
• 在每次更新后将任务权重投影回有效的单纯形集合，以保持一致性。

实验结果

研究问题

• RQ1 在低数据场景下，辅助任务重加权能否显著减少主任务的标注数据需求？
• RQ2 如何在无需昂贵网格搜索或先验任务选择的前提下，自动学习最优任务权重？
• RQ3 与固定或未加权的辅助训练相比，由辅助任务导出的代理先验是否能提升泛化能力和数据效率？
• RQ4 该方法是否能在极低标注数据条件下（例如每类仅一个样本）实现强性能？

主要发现

• 在少样本域自适应设置中，即使每类仅有一个标注样本，该方法在性能上也显著优于无监督和少样本基线方法。
• 在CIFAR10和SVHN的半监督学习中，该方法在极少标注数据下优于基线，展现出更强的数据效率。
• 在CelebA多标签分类基准上，该方法有效利用39个辅助任务，在仅1%标注数据下显著提升了主任务性能。
• 在PACS数据集的域泛化任务中，该方法在跨域设置下表现出强泛化能力，对域偏移具有鲁棒性。
• 该算法对超参数选择具有鲁棒性，特别是任务权重的学习率在广泛取值范围内均表现不敏感。
• 简化版算法（无需Langevin动力学）的性能与完整两阶段方法相当，支持高效端到端训练。