[论文解读] Example-based Hypernetworks for Out-of-Distribution Generalization

Tomer Volk, Eyal Ben‐David+3 more|arXiv (Cornell University)|Mar 27, 2022

Topic Modeling被引用 4

一句话总结

本文提出 Hyper-PADA，一种新颖的基于样本的超网络框架，用于在 NLP 中实现对未见目标域的多源域自适应。它使用 T5 编码器从输入样本生成领域语义签名，随后由超网络据此生成特定于任务的分类器权重，在情感分类与自然语言蕴含任务的 29 种自适应场景中均取得了最先进性能。

ABSTRACT

As Natural Language Processing (NLP) algorithms continually achieve new milestones, out-of-distribution generalization remains a significant challenge. This paper addresses the issue of multi-source adaptation for unfamiliar domains: We leverage labeled data from multiple source domains to generalize to unknown target domains at training. Our innovative framework employs example-based Hypernetwork adaptation: a T5 encoder-decoder initially generates a unique signature from an input example, embedding it within the source domains' semantic space. This signature is subsequently utilized by a Hypernetwork to generate the task classifier's weights. We evaluated our method across two tasks - sentiment classification and natural language inference - in 29 adaptation scenarios, where it outpaced established algorithms. In an advanced version, the signature also enriches the input example's representation. We also compare our finetuned architecture to few-shot GPT-3, demonstrating its effectiveness in essential use cases. To our knowledge, this marks the first application of Hypernetworks to the adaptation for unknown domains.

研究动机与目标

• 解决在训练时无法获取目标领域数据的情况下，NLP 中分布外泛化的挑战。
• 通过显式建模输入样本的共享特征与领域特定特征，提升多源域自适应性能。
• 开发一种方法，可在训练过程中无需使用目标领域有标签或无标签数据的情况下泛化至未见领域。
• 通过超网络实现示例特定表示与动态分类器权重生成的融合，以增强自适应性能。

提出的方法

• 使用基于 T5 的编码器，将每个输入样本嵌入到源领域共享语义空间中的唯一语义签名。
• 采用超网络，基于样本的签名生成下游任务的分类器权重，实现示例特定的自适应。
• 通过将样本原始嵌入与签名嵌入融合，增强输入表示，以提升特征表达能力。
• 使用来自多个源领域的有标签数据端到端训练整个系统，训练过程中不访问目标领域数据。
• 将该框架应用于多种语言和领域中的序列分类任务，如情感分类与自然语言蕴含。
• 使用 DRF（分布表示特征）框架从源领域中提取领域特定的语义签名，以指导超网络的权重生成。

实验结果

研究问题

• RQ1 在无法访问目标领域数据的情况下，超网络能否在 NLP 的无监督域自适应中有效应用？
• RQ2 通过学习到的签名实现基于样本的分类器权重生成，是否相比标准域自适应方法能更好地泛化至未见领域？
• RQ3 将示例特定表示与超网络生成的权重相结合，对分布外设置下的性能有何影响？
• RQ4 超网络生成的分类器权重多样性在多大程度上与自适应性能提升相关？
• RQ5 与使用 GPT-3 等大语言模型进行 few-shot 提示相比，所提出方法在零样本泛化至未见领域时表现如何？

主要发现

• Hyper-PADA 在情感分类与自然语言蕴含任务的 29 种自适应场景中，均优于已有的域自适应算法。
• 在 CD MNLI 基准测试中，尽管可能存在数据泄露，Hyper-PADA 的平均 F1 分数仍比 GPT-3（Davinci-003）高出 5.3 个百分点。
• 在 CLCD 情感分类任务中，Hyper-PADA 在 few-shot 设置下的平均准确率达到 90.1%，优于 GPT-3 5.6 个百分点。
• 在 CLCD 情感分类任务中，超网络生成的分类器权重多样性与 PADA 性能提升之间的斯皮尔曼等级相关系数为 0.475，表明存在有意义的相关性。
• 消融实验确认，基于样本的分类器参数化显著贡献于性能提升，表现为权重多样性与自适应性能提升之间存在强相关性。
• 该框架在 4 种语言和 8 个源领域中均表现出鲁棒性，验证了其对未见目标领域的泛化能力。