[论文解读] A taxonomy and review of generalization research in NLP

Dieuwke Hupkes, Mario Giulianelli+18 more|arXiv (Cornell University)|Oct 6, 2022

Natural Language Processing Techniques参考文献 629被引用 41

一句话总结

本文提出了一套全面的五维分类法，以系统化 NLP 中的泛化研究，分析了 400 多篇论文和 600 多项实验。该研究识别出关键的研究动机、泛化类型、数据分布偏移、偏移来源以及建模流程中的作用位置，揭示了当前评估实践中的关键缺口，并倡导将标准化、稳健的泛化测试作为 NLP 研究的新常态。

ABSTRACT

The ability to generalise well is one of the primary desiderata of natural language processing (NLP). Yet, what 'good generalisation' entails and how it should be evaluated is not well understood, nor are there any evaluation standards for generalisation. In this paper, we lay the groundwork to address both of these issues. We present a taxonomy for characterising and understanding generalisation research in NLP. Our taxonomy is based on an extensive literature review of generalisation research, and contains five axes along which studies can differ: their main motivation, the type of generalisation they investigate, the type of data shift they consider, the source of this data shift, and the locus of the shift within the modelling pipeline. We use our taxonomy to classify over 400 papers that test generalisation, for a total of more than 600 individual experiments. Considering the results of this review, we present an in-depth analysis that maps out the current state of generalisation research in NLP, and we make recommendations for which areas might deserve attention in the future. Along with this paper, we release a webpage where the results of our review can be dynamically explored, and which we intend to update as new NLP generalisation studies are published. With this work, we aim to take steps towards making state-of-the-art generalisation testing the new status quo in NLP.

研究动机与目标

• 为解决 NLP 模型泛化评估中缺乏共识与标准化的问题。
• 识别并分类泛化研究背后的多样化动机，包括鲁棒性、公平性以及认知合理性。
• 开发一个系统化的分类法，涵盖泛化类型的全谱、数据偏移及其来源和建模流程中的作用位置。
• 通过使用所提出的分类法对 400 多篇论文和 600 多项实验进行分类，分析当前泛化研究的现状。
• 提出未来研究方向，并推动将系统化泛化评估作为 NLP 领域的新标准。

提出的方法

• 作者开发了一个五维分类法，用于表征泛化研究：(1) 动机，(2) 泛化类型，(3) 数据偏移类型，(4) 偏移来源，以及 (5) 建模流程中的作用位置。
• 该分类法被用于系统性地分类 400 多篇 NLP 论文及文献中的 600 多项独立实验。
• 分类基于对多个 NLP 子领域和评估范式的全面文献综述。
• 作者分析了数据中的模式，以识别研究焦点的不平衡，例如对 i.i.d. 划分的过度依赖，以及对组合性与结构性泛化的代表性不足。
• 他们发布了一个交互式、可动态更新的网络平台，用于可视化和探索分类法及研究结果，支持持续的研究整理。
• 该方法将定性分类与研究趋势的定量分析相结合，以指导未来评估标准的制定。

实验结果

研究问题

• RQ1 推动 NLP 泛化研究的主要动机是什么？这些动机如何影响评估设计？
• RQ2 哪些类型的泛化（如组合性、结构性、跨语言）被最常研究，哪些仍处于研究不足状态？
• RQ3 在 NLP 泛化研究中，数据偏移在来源（自然生成 vs. 人工生成）和类型（协变量偏移、标签偏移、完整偏移）方面有何差异？
• RQ4 在建模流程中（预训练、训练或测试阶段），数据偏移最常发生在哪个环节？这如何影响模型评估？
• RQ5 尽管对实现稳健、类人模型行为至关重要，哪些泛化能力目前仍被严重忽视？

主要发现

• 超过 60% 的泛化研究聚焦于简单的数据偏移，如领域或风格变化，而组合性与结构性泛化仍显著研究不足。
• 仅有 12% 的研究在完全生成的数据划分（如 SCAN）上评估模型，尽管这类数据在探测组合性泛化方面具有重要价值。
• 大多数研究（78%）使用自然数据划分或自然发生的偏移来评估泛化，但这些方法往往缺乏系统性控制和可复现性。
• 研究焦点存在显著不平衡：鲁棒性和公平性是突出的研究动机，而认知性和内在动机（如类人推理）则代表性不足。
• 模型在标准 i.i.d. 基准测试中表现优异（如 GLUE 分数 >90），但在非 i.i.d. 或分布偏移的数据上表现不佳，表明性能与真正泛化之间存在关键差距。
• 该分类法揭示，85% 的泛化研究涉及从训练到测试的数据偏移，而仅有 10% 的研究考察从预训练到训练或从预训练到测试的偏移，凸显了在评估持续学习或终身学习能力方面的盲点。