[论文解读] Construction Grammar Provides Unique Insight into Neural Language Models

Leonie Weissweiler, Taiqi He+4 more|arXiv (Cornell University)|Feb 4, 2023

Natural Language Processing Techniques被引用 10

一句话总结

tldr: 该论文讨论使用 Construction Grammar (CxG) 来探测大型预训练语言模型，评述当前的 probing 方法，并概述开发 CxG 特定评估和数据资源的挑战与未来方向。

ABSTRACT

Construction Grammar (CxG) has recently been used as the basis for probing studies that have investigated the performance of large pretrained language models (PLMs) with respect to the structure and meaning of constructions. In this position paper, we make suggestions for the continuation and augmentation of this line of research. We look at probing methodology that was not designed with CxG in mind, as well as probing methodology that was designed for specific constructions. We analyse selected previous work in detail, and provide our view of the most important challenges and research questions that this promising new field faces.

研究动机与目标

• 主张语言模型必须理解构式（constructions）以有效建模语言，并影响下游任务。
• 评审现有的 probing 方法及其在捕捉 PLMs 的构式知识方面的局限性。
• 综述与 CxG 相关的探测工作、数据使用和方法多样性，以识别差距并指导未来研究。
• 强调需要标准化的探测方法以及跨语言的构式标注数据资源。

提出的方法

• 综述并评判当前未为 CxG 设计的探测方法以及为特定构式设计的方法。
• 分析在以 CxG 为重点的探测研究中使用的数据源和实验设计。
• 评估现有方法在多大程度上捕捉构式结构，以及在多大程度上捕捉构式含义（较少）。
• 提出发展适用于 CxG 调整的探测方法和数据资源的方向。
• 讨论当探测揭示构式差异/空缺时，对 LM 架构和预训练的潜在影响。

实验结果

研究问题

• RQ1 预训练语言模型是否将构式以形式与意义的 gestalt patterns 呈现？
• RQ2 当前的探测方法能否捕捉到构式特征的开放槽和非连续模式？
• RQ3 需要哪些数据、注释和方法来对 PLMs 的构式知识进行稳健评估？
• RQ4 以构式为焦点的探测是否会推动模型架构或预训练目标的改进？

主要发现

• 现有的 probing 方法在很大程度上揭示了对构式的句法/结构敏感性，但难以证明对其含义的稳健理解。
• CxG-focus 的研究显示英语中对构式结构的表征证据，但跨语言的意义获得证据有限。
• 数据和构式列表存在偏见或有限性，阻碍对 PLMs 的构式知识做出可推广的结论。
• 当前的方法在构式范围、数据来源和证据类型上存在差异，使跨研究的泛化变得困难。
• 需要标准化探测方法并开发通用的构式词典资源和带注释的语料库。
• 探测洞见表明模型在处理构式含义和构式槽方面可能存在根本性差距，需在架构或训练方面进行调整。