[论文解读] Integrating Linguistic Theory and Neural Language Models

Bai Li|arXiv (Cornell University)|Jul 20, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本论文通过探针技术揭示了语言学理论与神经语言模型之间的桥梁作用，展示了多语言 BERT 在测量词汇类别的灵活性时的语义距离，提出基于高斯分布的意外度方法以更早检测形态句法异常而非语义异常，并将心理语言学实验方法适配用于验证语言模型是否编码了建构语法理论中的论元结构构式。其核心贡献在于建立了一套系统化、理论指导的探针方法，揭示了神经网络模型如何内化语言现象。

ABSTRACT

Transformer-based language models have recently achieved remarkable results in many natural language tasks. However, performance on leaderboards is generally achieved by leveraging massive amounts of training data, and rarely by encoding explicit linguistic knowledge into neural models. This has led many to question the relevance of linguistics for modern natural language processing. In this dissertation, I present several case studies to illustrate how theoretical linguistics and neural language models are still relevant to each other. First, language models are useful to linguists by providing an objective tool to measure semantic distance, which is difficult to do using traditional methods. On the other hand, linguistic theory contributes to language modelling research by providing frameworks and sources of data to probe our language models for specific aspects of language understanding. This thesis contributes three studies that explore different aspects of the syntax-semantics interface in language models. In the first part of my thesis, I apply language models to the problem of word class flexibility. Using mBERT as a source of semantic distance measurements, I present evidence in favour of analyzing word class flexibility as a directional process. In the second part of my thesis, I propose a method to measure surprisal at intermediate layers of language models. My experiments show that sentences containing morphosyntactic anomalies trigger surprisals earlier in language models than semantic and commonsense anomalies. Finally, in the third part of my thesis, I adapt several psycholinguistic studies to show that language models contain knowledge of argument structure constructions. In summary, my thesis develops new connections between natural language processing, linguistic theory, and psycholinguistics to provide fresh perspectives for the interpretation of language models.

研究动机与目标

• 探究神经语言模型是否可作为客观工具，用于测量诸如词汇类灵活性等语言现象中的语义距离。
• 开发一种基于高斯密度估计的意外度计算方法，以在语言模型的中间层测量意外度，从而更早检测语言异常。
• 将心理语言学实验范式适配为探针任务，以检验语言模型是否编码了来自建构语法理论的论元结构构式知识。
• 证明语言学理论可指导探针方法，提升神经语言模型分析的可解释性与相关性。
• 建立一个将理论语言学、心理语言学与自然语言处理相融合的系统化探针框架。

提出的方法

• 使用 mBERT 计算多语言词对之间的语义相似度得分，以评估词汇类灵活性作为方向性过程的表现。
• 提出一种基于高斯分布的密度估计方法，用于在 Transformer 模型的中间层计算意外度，实现逐层异常检测。
• 将意外度方法应用于三类语言异常：形态句法异常、语义异常和常理异常，使用精心筛选的数据集。
• 将心理语言学范式（特别是 N400 和启动效应研究）转化为探针任务，评估语言模型对论元结构构式响应的表现。
• 对上下文嵌入进行逐层探针分析，研究语言特征在 Transformer 模型前向传播过程中的演化机制。
• 通过消融研究和模型对比（如 RoBERTa 与 XLNet）评估模型架构差异和数据分布对结果的影响。

实验结果

研究问题

• RQ1 mBERT 等语言模型能否提供客观、跨语言一致的语义距离度量，以支持对词汇类灵活性的方向性分析？
• RQ2 与语义或常理异常相比，语言模型在哪个层级首先检测到形态句法异常？这一现象揭示了其内部处理机制的何种特征？
• RQ3 语言模型是否表现出与人类心理语言学发现相当的论元结构构式知识证据？
• RQ4 语言模型的架构差异（如 RoBERTa 与 XLNet）如何影响其对不同类型语言异常的敏感度？
• RQ5 心理语言学范式能否被有效适配，用于探针神经语言模型中的特定语言现象？

主要发现

• mBERT 有效识别出词汇类灵活性中的方向性模式，支持了语义转换在不同语言中具有不对称性和方向性的假设。
• 形态句法异常在模型的早期层（如较低层）即引发更高的意外度，而语义或常理异常则较晚出现，表明模型对句法违规具有早期敏感性。
• 语言模型对论元结构构式探针表现出稳健响应，复现了关键的心理语言学发现，如启动效应和类似 N400 的反应模式。
• 基于高斯分布的意外度方法在检测异常方面比标准掩码语言建模更早且更一致，尤其在形态句法错误检测中表现更优。
• 架构差异显著影响异常检测能力：RoBERTa 在区分异常类型方面表现优于 XLNet，表明模型架构会影响语言敏感度。
• 探针结果在多种语言和数据集上均保持稳健，表明语言知识在上下文嵌入中系统性地被编码，而不仅仅是统计模式。