[论文解读] Hyper-X: A Unified Hypernetwork for Multi-Task Multilingual Transfer

Ahmet Üstün, Arianna Bisazza+3 more|arXiv (Cornell University)|May 24, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

Hyper-X 提出了一种统一的超网络，根据任务和语言嵌入生成适配器权重，从而在未见过的任务-语言组合上实现高效的零样本和少样本迁移。与基于适配器的基线方法相比，它在参数量显著减少的情况下实现了最先进或具有竞争力的性能，尤其是在利用异构多语言和多任务数据时表现更优。

ABSTRACT

Massively multilingual models are promising for transfer learning across tasks and languages. However, existing methods are unable to fully leverage training data when it is available in different task-language combinations. To exploit such heterogeneous supervision, we propose Hyper-X, a single hypernetwork that unifies multi-task and multilingual learning with efficient adaptation. This model generates weights for adapter modules conditioned on both tasks and language embeddings. By learning to combine task and language-specific knowledge, our model enables zero-shot transfer for unseen languages and task-language combinations. Our experiments on a diverse set of languages demonstrate that Hyper-X achieves the best or competitive gain when a mixture of multiple resources is available, while being on par with strong baselines in the standard scenario. Hyper-X is also considerably more efficient in terms of parameters and resources compared to methods that train separate adapters. Finally, Hyper-X consistently produces strong results in few-shot scenarios for new languages, showing the versatility of our approach beyond zero-shot transfer.

研究动机与目标

• 为了解决现有方法在迁移学习过程中难以利用来自多个任务和语言的异构监督信号的局限性。
• 实现在无需微调的情况下，对未见过的语言和任务-语言组合实现零样本迁移。
• 通过用单一统一的超网络替代多个任务和语言特定的适配器，提升参数效率。
• 通过引入掩码语言建模，提升对低资源和未见语言的泛化能力。
• 在零样本、少样本和多任务设置下，评估模型在多样化语言和任务上的性能。

提出的方法

• Hyper-X 使用单一超网络，基于任务和语言的联合嵌入生成适配器参数。
• 模型以任务和语言标识符作为输入，为每种语言生成特定于任务的适配器权重。
• 它采用共享的超网络架构，能够在推理时动态适应新的任务-语言对。
• 该方法支持在无标签数据上联合进行掩码语言建模预训练，增强零样本泛化能力。
• 通过利用预训练期间学习到的语言表示，实现对未见语言的无缝适应。
• 该方法具有参数效率，避免为每个语言-任务对单独训练适配器。

实验结果

研究问题

• RQ1 统一的超网络能否有效实现跨任务和语言的知识迁移，包括未见过的组合？
• RQ2 与强基线模型相比，Hyper-X 在零样本跨语言迁移中的表现如何？
• RQ3 当存在异构数据时，Hyper-X 在混合语言、多任务微调中能获得多大程度的收益？
• RQ4 与基于适配器的方法相比，Hyper-X 在模型参数量和推理成本方面有多高效？
• RQ5 Hyper-X 在新语言和新任务的少样本场景下能否实现良好泛化？

主要发现

• 在包括7种预训练期间未见过的16种语言的命名实体识别（NER）和词性标注（POS）任务上，Hyper-X 达到了最先进或具有竞争力的性能。
• 在混合语言多任务设置中，Hyper-X 相较于标准基线模型表现出显著提升，性能与更昂贵的基于适配器的模型相当。
• 在少样本场景中，Hyper-X 持续优于基线模型，展现出对新语言和新任务的强大泛化能力。
• 在零样本设置下，Hyper-X 在所有语言上的 NER 任务 F1 得分为 62.3，POS 标注任务准确率为 67.2，优于 mBERT 和 MAD-X。
• 与为每个语言-任务对单独训练适配器的方法相比，Hyper-X 显著降低了参数量和训练成本，同时保持了强大的性能。