[论文解读] Learning Functions to Study the Benefit of Multitask Learning

Gabriele Bettgenhäuser, Michael A. Hedderich+1 more|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 31被引用 5

一句话总结

本文提出一种基于符号回归的方法，通过自定义任务模拟器控制数据集大小（n）、任务数量（T）和任务相关性（AMI），以经验性地发现量化序列标注中多任务学习（MTL）性能的数学公式。主要贡献在于发现了性能对√n、√T和√AMI的依赖关系，验证了理论预期，并通过显式、可解释的关系扩展了这些理论结果。

ABSTRACT

We study and quantify the generalization patterns of multitask learning (MTL) models for sequence labeling tasks. MTL models are trained to optimize a set of related tasks jointly. Although multitask learning has achieved improved performance in some problems, there are also tasks that lose performance when trained together. These mixed results motivate us to study the factors that impact the performance of MTL models. We note that theoretical bounds and convergence rates for MTL models exist, but they rely on strong assumptions such as task relatedness and the use of balanced datasets. To remedy these limitations, we propose the creation of a task simulator and the use of Symbolic Regression to learn expressions relating model performance to possible factors of influence. For MTL, we study the model performance against the number of tasks (T), the number of samples per task (n) and the task relatedness measured by the adjusted mutual information (AMI). In our experiments, we could empirically find formulas relating model performance with factors of sqrt(n), sqrt(T), which are equivalent to sound mathematical proofs in Maurer[2016], and we went beyond by discovering that performance relates to a factor of sqrt(AMI).

研究动机与目标

• 理解并量化多任务学习（MTL）模型在序列标注任务中的泛化模式。
• 克服理论MTL边界所依赖的强假设（如已知任务相关性与平衡数据集）的局限性。
• 开发一个可控的任务模拟器，用于生成具有可调参数的多样化MTL训练场景。
• 使用符号回归学习可解释的数学表达式，将模型性能与n、T和AMI等关键因素关联起来。
• 为实践者提供一种数据驱动、可解释的框架，以指导MTL任务分组与超参数选择。

提出的方法

• 设计了一个任务模拟器，用于生成具有受控参数（任务数量T、每项任务的样本数n、通过调整互信息（AMI）衡量的任务相关性）的合成序列标注任务。
• 模拟器在n、T和AMI的不同配置下生成MTL模型的训练数据，以收集性能指标（F1得分）。
• 对收集的数据应用符号回归，以学习F1得分与输入参数（n、T、AMI）之间闭式表达式的关联。
• 该方法首先在平衡数据集（每项任务的n相等）上进行测试，随后扩展到不同任务具有不同n的非平衡设置。
• 基于最小测试均方误差（MSE）选择最佳拟合的符号表达式，其中公式（6）的MSE为0.009。
• 该方法模拟开普勒的科学方法——先从数据中发现函数关系，再寻求理论解释。

实验结果

研究问题

• RQ1 多任务学习中模型性能如何随任务数量（T）变化？
• RQ2 性能如何随每项任务的训练样本数（n）变化？
• RQ3 任务相关性（以AMI衡量）对MTL性能的定量影响是什么？
• RQ4 在任务训练规模不均等的非平衡数据集中，这些关系如何变化？
• RQ5 符号回归能否发现可解释的、数据驱动的公式，反映已知的理论收敛速率并加以扩展？

主要发现

• MTL模型的F1得分与√n成比例，证实了先前研究中观察到的理论收敛速率。
• 性能表现出对√T的依赖，与先前研究的理论预期一致。
• 一个新发现是性能与√AMI成比例，揭示了任务相关性与MTL增益之间直接、可解释的关系。
• 在非平衡设置中，F1得分主要由最小数据集（n_ner）驱动，√n_ner成为主导因素。
• 符号回归模型为最佳拟合公式实现了0.009的测试MSE，表明具有很强的经验拟合度。
• 所发现的公式F1 = √((log(T) + 0.45) * (AMI*n / (AMI + 0.6))) 以高精度捕捉了T、n和AMI的联合影响。