[论文解读] AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning

Han Guo, Ramakanth Pasunuru+1 more|arXiv (Cornell University)|Apr 8, 2019

Machine Learning and Algorithms参考文献 51被引用 4

一句话总结

AutoSeM 提出了一种两阶段贝叶斯优化框架，用于自动进行多任务学习：首先使用带有汤普森采样的 Beta-Bernoulli 多臂赌博机来选择有用的辅助任务，然后采用基于高斯过程的贝叶斯优化来学习最优训练混合比例。该方法通过消除手动超参数调优，显著提升了性能——在 QNLI 上最高提升 5.2%，优于所有启发式基线和消融变体。

ABSTRACT

Multi-task learning (MTL) has achieved success over a wide range of problems, where the goal is to improve the performance of a primary task using a set of relevant auxiliary tasks. However, when the usefulness of the auxiliary tasks w.r.t. the primary task is not known a priori, the success of MTL models depends on the correct choice of these auxiliary tasks and also a balanced mixing ratio of these tasks during alternate training. These two problems could be resolved via manual intuition or hyper-parameter tuning over all combinatorial task choices, but this introduces inductive bias or is not scalable when the number of candidate auxiliary tasks is very large. To address these issues, we present AutoSeM, a two-stage MTL pipeline, where the first stage automatically selects the most useful auxiliary tasks via a Beta-Bernoulli multi-armed bandit with Thompson Sampling, and the second stage learns the training mixing ratio of these selected auxiliary tasks via a Gaussian Process based Bayesian optimization framework. We conduct several MTL experiments on the GLUE language understanding tasks, and show that our AutoSeM framework can successfully find relevant auxiliary tasks and automatically learn their mixing ratio, achieving significant performance boosts on several primary tasks. Finally, we present ablations for each stage of AutoSeM and analyze the learned auxiliary task choices.

研究动机与目标

• 解决在无手动干预的情况下，从多任务学习中选择相关辅助任务并学习最优训练混合比例的挑战。
• 克服依赖人工直觉和穷举超参数搜索的局限性，这些方法在大规模场景下不可行，且可能引入人为偏见。
• 开发一种可扩展的自动化流程，利用辅助任务提升主 NLP 任务的性能。
• 通过两阶段框架将任务选择与混合比例优化解耦，实现在多任务学习中的高效自适应。
• 在 GLUE 基准上展示该框架的有效性，证明其在多种 NLP 任务中的一致性提升。

提出的方法

• 使用非平稳的 Beta-Bernoulli 多臂赌博机配合汤普森采样，将任务效用建模为伯努利分布的随机变量，其中期望值表示某任务提升主任务性能的概率。
• 在训练过程中动态交替选择候选任务，利用贝叶斯推断更新后验任务效用估计，以平衡探索与利用。
• 应用带有 Matern 核的高斯过程（GP）对不同混合比例的性能建模为随机过程，实现混合比例的序列化优化。
• 在 GP 框架内使用一组获取函数——包括乐观策略和基于改进的策略——以引导寻找最优混合比例。
• 将流程解耦为两个阶段：(1) 通过赌博机进行任务选择，(2) 通过 GP 进行混合比例学习，从而实现模块化与可扩展的优化。
• 利用 GP 中的先验实验结果，高效收敛至最优混合比例，避免穷举网格搜索。

实验结果

研究问题

• RQ1 在无偏见的前提下，自动化系统能否有效识别出对给定主 NLP 任务最有用的辅助任务？
• RQ2 基于高斯过程的贝叶斯优化能否以数据驱动的方式高效学习所选辅助任务的最优混合比例？
• RQ3 AutoSeM 的性能与依赖人工直觉进行任务和比例选择的强基线及启发式模型相比如何？
• RQ4 各阶段（任务选择与混合比例学习）对整体性能提升的相对贡献是什么？
• RQ5 自动选择的辅助任务是否在直觉上与主任务相关？其选择是否与已知的语言或任务层面相似性一致？

主要发现

• 在 QNLI 基准上，AutoSeM 相较于强基线实现了 5.2% 的绝对性能提升，证明了其在多任务学习中的显著增益。
• 在 RTE 上，框架实现了 4.7% 的提升；在 MRPC 上，两种不同评估指标下分别提升了 2.8% 和 0.8%，表明在各类任务中均具有一致性增益。
• 消融研究证实两个阶段均不可或缺：若移除任务选择阶段或用网格搜索替代 GP，性能均下降，证明了各组件的价值。
• 多臂赌博机控制器成功识别出主任务为最有用，并为 2–3 个相关辅助任务分配中等效用，对不相关任务则赋予较低估计值。
• 高斯过程阶段在效率和最终性能上均优于较大规模的网格搜索，表明贝叶斯优化能有效利用先前评估结果以找到最优比例。
• 即使在人工直觉选择（如将 MRPC 与 QQP 或 MultiNLI 配对）被认为合理的情况下，该框架仍优于“有根据猜测”的基线模型，表明自动化发现具有显著优势。