[论文解读] What can linguistics and deep learning contribute to each other?

Tal Linzen|arXiv (Cornell University)|Sep 11, 2018

Natural Language Processing Techniques参考文献 36被引用 5

一句话总结

本文主张语言学与深度学习之间的相互交流：语言学家可以定义精确的语言能力并设计受控实验来评估神经网络，而神经网络则可用来建模人类句子处理过程并检验语言习得中的先天约束。其主要贡献在于提出了一套将语言学理论与深度学习研究相结合的框架，以同时提升语言建模能力和对认知科学的理解。

ABSTRACT

Joe Pater's target article calls for greater interaction between neural network research and linguistics. I expand on this call and show how such interaction can benefit both fields. Linguists can contribute to research on neural networks for language technologies by clearly delineating the linguistic capabilities that can be expected of such systems, and by constructing controlled experimental paradigms that can determine whether those desiderata have been met. In the other direction, neural networks can benefit the scientific study of language by providing infrastructure for modeling human sentence processing and for evaluating the necessity of particular innate constraints on language acquisition.

研究动机与目标

• 通过促进跨学科合作，弥合语言学与深度学习之间的鸿沟。
• 解决神经网络研究在语言技术领域缺乏清晰语言学基准的问题。
• 提出神经网络可作为测试人类语言习得与处理理论的工具。
• 鼓励语言学家为神经模型定义可度量的语言能力。
• 将神经网络定位为认知科学中建模人类句子处理过程的可行基础设施。

提出的方法

• 呼吁语言学家定义神经语言模型应具备的具体语言能力。
• 提出受控实验范式，以检验神经网络是否满足这些语言学期望。
• 将神经网络定位为实时模拟人类句子处理过程的计算工具。
• 利用该框架通过神经网络评估语言习得理论中先天约束的必要性。
• 该方法强调通过针对性语言任务进行实证验证，而非依赖广泛的性能指标。
• 通过将模型行为与心理语言学现象对齐，实现理论语言学与深度学习的整合。

实验结果

研究问题

• RQ1 语言学如何为评估神经网络在语言任务中的表现提供清晰、可测试的基准？
• RQ2 神经网络在多大程度上能够以反映认知合理性的形式建模人类句子处理？
• RQ3 神经网络在检验语言习得中先天约束必要性方面可发挥何种作用？
• RQ4 如何设计受控的语言学实验，以评估神经模型是否捕捉到特定的语言现象？
• RQ5 深度学习在性能提升之外，还能以何种方式增强语言的科学研究？

主要发现

• 语言学家通过定义精确的语言能力并设计针对性实验，可显著提升对神经网络的评估水平。
• 神经网络可作为人类句子处理的可行计算模型，从而实现对认知理论的实证检验。
• 将语言学理论与深度学习相结合，可实现更具可解释性和科学意义的模型评估。
• 受控实验范式可判断神经模型是否满足特定语言学期望，例如句法泛化能力。
• 神经网络可用于检验语言习得中某些先天约束是否必要，为认知科学提供新工具。
• 所提出的框架可实现更严谨、以理论为导向的语言模型开发与评估方法。