[论文解读] Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing

Linlu Qiu, Peter Shaw+6 more|arXiv (Cornell University)|May 24, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文研究了在语义解析中，模型规模扩大对组合泛化能力的影响，采用编码器-解码器（T5）和仅解码器（PaLM）模型，参数规模最高达540B。比较了微调、提示调优和上下文学习三种方法，发现微调表现出平坦或负向的缩放曲线，而提示调优则显示出更积极的缩放趋势，并在大模型上优于微调，表明参数高效方法可能更好地从规模扩大中获得泛化能力提升。

ABSTRACT

Despite their strong performance on many tasks, pre-trained language models have been shown to struggle on out-of-distribution compositional generalization. Meanwhile, recent work has shown considerable improvements on many NLP tasks from model scaling. Can scaling up model size also improve compositional generalization in semantic parsing? We evaluate encoder-decoder models up to 11B parameters and decoder-only models up to 540B parameters, and compare model scaling curves for three different methods for applying a pre-trained language model to a new task: fine-tuning all parameters, prompt tuning, and in-context learning. We observe that fine-tuning generally has flat or negative scaling curves on out-of-distribution compositional generalization in semantic parsing evaluations. In-context learning has positive scaling curves, but is generally outperformed by much smaller fine-tuned models. Prompt-tuning can outperform fine-tuning, suggesting further potential improvements from scaling as it exhibits a more positive scaling curve. Additionally, we identify several error trends that vary with model scale. For example, larger models are generally better at modeling the syntax of the output space, but are also more prone to certain types of overfitting. Overall, our study highlights limitations of current techniques for effectively leveraging model scale for compositional generalization, while our analysis also suggests promising directions for future work.

研究动机与目标

• 研究模型规模增大是否能提升语义解析中的组合泛化能力。
• 比较不同任务微调方法（微调、提示调优和上下文学习）在组合泛化上的缩放行为。
• 识别随模型规模和微调方法变化而系统性变化的错误趋势与失败模式。
• 评估分布偏移、输出表示形式和提示检索质量对缩放性能的影响。

提出的方法

• 评估了最大达110亿参数的编码器-解码器T5模型和最大达5400亿参数的仅解码器PaLM模型在语义解析中的表现。
• 应用三种任务微调方法：完整微调、提示调优（使用可学习的软提示）以及使用少样本示例的上下文学习。
• 采用标准基准数据集：GeoQuery和SMCalFlow-CS，用于评估组合泛化能力。
• 在涉及训练元素新颖组合的分布外样本上，测量不同模型规模下的性能表现。
• 分析错误类型，包括语法错误（如括号不匹配）和分布错误（如使用未见过的谓词）。
• 采用随机和基于最优提示的提示检索方法，评估提示质量对上下文学习的影响。

实验结果

研究问题

• RQ1 模型规模增大是否能提升语义解析中的组合泛化能力？
• RQ2 微调、提示调优和上下文学习在组合泛化上的缩放行为有何不同？
• RQ3 是否存在随模型规模或微调方法系统性变化的预测错误模式？
• RQ4 分布偏移、输出表示形式和提示检索质量如何影响缩放曲线？

主要发现

• 微调在组合泛化上表现出平坦或负向的缩放曲线，表明模型规模增大并未带来性能提升，甚至出现退化。
• 提示调优在大模型上优于标准微调，且表现出更积极的缩放趋势，表明其更适合利用模型规模优势。
• 上下文学习表现出正向缩放曲线，但始终被较小的微调模型超越，表明其在大模型上效果有限。
• 大模型在建模句法结构（如括号平衡）方面表现更优，但对某些组合模式更容易出现过拟合。
• 错误分析显示，大模型更倾向于生成与训练样本完全匹配的输出，即使该输出是错误的，表明存在记忆化或分布偏差现象。
• 使用最优提示检索器可提升上下文学习性能，但仍无法超越小型微调模型，凸显提示工程的局限性。