[论文解读] Modelling Latent Skills for Multitask Language Generation

Kris Cao, Dani Yogatama|arXiv (Cornell University)|Feb 21, 2020

Topic Modeling参考文献 49被引用 4

一句话总结

该论文提出了一种潜在变量序列到序列模型，通过在任务嵌入的高斯混合模型上显式建模多个语言生成任务之间的共享潜在技能，实现了多任务性能的提升，并通过潜在任务空间中的推理实现了稳健的少样本适应，其稳定性优于标准微调，整体性能也相当。

ABSTRACT

We present a generative model for multitask conditional language generation. Our guiding hypothesis is that a shared set of latent skills underlies many disparate language generation tasks, and that explicitly modelling these skills in a task embedding space can help with both positive transfer across tasks and with efficient adaptation to new tasks. We instantiate this task embedding space as a latent variable in a latent variable sequence-to-sequence model. We evaluate this hypothesis by curating a series of monolingual text-to-text language generation datasets - covering a broad range of tasks and domains - and comparing the performance of models both in the multitask and few-shot regimes. We show that our latent task variable model outperforms other sequence-to-sequence baselines on average across tasks in the multitask setting. In the few-shot learning setting on an unseen test dataset (i.e., a new task), we demonstrate that model adaptation based on inference in the latent task space is more robust than standard fine-tuning based parameter adaptation and performs comparably in terms of overall performance. Finally, we examine the latent task representations learnt by our model and show that they cluster tasks in a natural way.

研究动机与目标

• 通过在多样化任务之间建模共享的潜在技能，提升多任务条件语言生成性能。
• 通过在潜在任务空间中进行推理，实现对新出现的、未见过的任务的高效适应，仅需少量样本。
• 证明显式建模任务特定技能可带来比标准基线更好的泛化能力和性能。
• 评估模型在学习到的潜在空间中是否能有意义地聚类任务。

提出的方法

• 该模型采用序列到序列架构，潜在变量 z 从高斯混合分布中采样，其中每个分量对应一个训练任务。
• 在生成过程中采样潜在任务变量 z，并将其作为编码器和解码器的条件，使相同输入可根据不同技能生成不同输出。
• 通过使用数据集标识符进行弱监督训练，为每个任务内部的共享技能提供归纳偏置。
• 通过在潜在空间中进行推理，实现无需更新模型参数的少样本适应，方法是采样与少量样本最匹配的 z。
• 对潜在空间进行探查，以分析任务是否自然聚类，从而判断学习到的技能表示是否具有意义。
• 在多样化的文本到文本生成任务中，于多任务和少样本学习设置下对模型进行评估。

实验结果

研究问题

• RQ1 在连续的任务嵌入空间中建模潜在技能是否能提升多个语言生成任务的性能？
• RQ2 在少样本设置中，基于推理的潜在任务空间适应是否优于标准微调？
• RQ3 学习到的潜在任务表示是否语义一致，相似任务是否自然聚类？
• RQ4 在多任务和少样本设置下，该模型的性能与强基线相比如何？

主要发现

• 所提出的模型在多任务设置下优于强基线序列到序列模型，在所有任务上的平均性能均有提升。
• 在少样本设置下，潜在空间中的基于推理的适应性能与标准微调相当，但对超参数选择更具鲁棒性。
• 模型在任务之间表现出正向迁移，尤其在低资源任务上性能增益显著。
• 对潜在空间的探查显示，任务根据语义相似性自然聚类，表明模型学习到了有意义且解耦的技能表示。
• 模型性能对任务数量敏感，表明若任务数量未预先固定，性能可能下降。