[论文解读] Verb Argument Structure Alternations in Word andSentence Embeddings

Katharina Kann, Alex Warstadt+2 more|arXiv (Cornell University)|Jan 1, 2019

Natural Language Processing Techniques参考文献 37被引用 30

一句话总结

本文研究词嵌入与句嵌入是否捕捉了动词论元结构变换中的细粒度句法差异。利用两个新数据集——FAVA（句级）和LaVA（词级），作者检验了模型对可接受与不可接受动词框架组合的分类能力，发现性能因变换类型而异，且句嵌入会丢失部分词嵌入中包含的信息。

ABSTRACT

Verbs occur in different syntactic environments, or frames. We investigate whether artificial neural networks encode grammatical distinctions necessary for inferring the idiosyncratic frame-selectional properties of verbs. We introduce five datasets, collectively called FAVA, containing in aggregate nearly 10k sentences labeled for grammatical acceptability, illustrating different verbal argument structure alternations. We then test whether models can distinguish acceptable English verb-frame combinations from unacceptable ones using a sentence embedding alone. For converging evidence, we further construct LaVA, a corresponding word-level dataset, and investigate whether the same syntactic features can be extracted from word embeddings. Our models perform reliable classifications for some verbal alternations but not others, suggesting that while these representations do encode fine-grained lexical information, it is incomplete or can be hard to extract. Further, differences between the word- and sentence-level models show that some information present in word embeddings is not passed on to the down-stream sentence embeddings.

研究动机与目标

• 探究神经网络词嵌入与句嵌入是否编码了动词框架选择属性所需的语法差异。
• 评估仅使用句嵌入是否能对可接受与不可接受的动词-框架组合进行分类。
• 比较词级与句级嵌入在捕捉句法特征时的信息保留程度。
• 识别哪些类型的动词论元结构变换更易或更难从嵌入中预测。

提出的方法

• 构建了FAVA，一个包含约10,000个句子的数据集，对五种动词论元结构变换的语法可接受性进行标注。
• 构建了LaVA，一个对应的词级数据集，以实现词嵌入与句嵌入之间的比较。
• 在句嵌入上训练分类模型，以预测动词-框架组合的可接受性。
• 在词嵌入上训练并行模型，以评估是否可在词级提取到类似的句法特征。
• 利用词级与句级模型的收敛证据，评估表示质量与信息泄露情况。
• 在不同变换类型上评估模型性能，以识别表征完整性的模式。

实验结果

研究问题

• RQ1 句嵌入能否在不同论元结构变换中可靠地对可接受的动词-框架组合进行分类？
• RQ2 词嵌入在多大程度上编码了框架选择所需的句法特征？
• RQ3 对于相同变换，词级模型与句级模型的分类性能是否存在差异？
• RQ4 哪些动词论元结构变换更有效地被神经嵌入捕捉？
• RQ5 词嵌入中的信息是否在下游句嵌入中得以保留，还是在聚合过程中丢失？

主要发现

• 模型在部分动词论元结构变换上实现了可靠的分类性能，但在其他变换上表现不佳，表明嵌入中对句法差异的编码不完整。
• 性能在不同变换类型间存在显著差异，表明并非所有句法模式在嵌入中都以同等程度被表示。
• 在某些变换上，词级模型的表现优于句级模型，暗示句嵌入可能丢失或模糊了部分词汇句法信息。
• 本研究发现，词嵌入中存在的信息并不总能在句嵌入中保留，表明在聚合过程中可能存在信息损失。
• 词级与句级模型的收敛证据支持结论：尽管嵌入编码了细粒度的词汇信息，但其编码是不完整且依赖上下文的。
• 结果表明，当前的神经网络表示对特定句法模式敏感，但无法泛化到所有动词框架变换。