[论文解读] Exploring Semantic Incrementality with Dynamic Syntax and Vector Space Semantics

Mehrnoosh Sadrzadeh, Matthew Purver+2 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques参考文献 24被引用 6

一句话总结

本文提出了一种动态语法（Dynamic Syntax, DS）的组合向量空间语义，通过张量收缩将增量解析与分布语义相结合。该方法实现了逐词消歧和句子延续的合理性评分，表明语义合理性可随着话语的展开逐步计算，支持对话中的预测处理。

ABSTRACT

One of the fundamental requirements for models of semantic processing in dialogue is incrementality: a model must reflect how people interpret and generate language at least on a word-by-word basis, and handle phenomena such as fragments, incomplete and jointly-produced utterances. We show that the incremental word-by-word parsing process of Dynamic Syntax (DS) can be assigned a compositional distributional semantics, with the composition operator of DS corresponding to the general operation of tensor contraction from multilinear algebra. We provide abstract semantic decorations for the nodes of DS trees, in terms of vectors, tensors, and sums thereof; using the latter to model the underspecified elements crucial to assigning partial representations during incremental processing. As a working example, we give an instantiation of this theory using plausibility tensors of compositional distributional semantics, and show how our framework can incrementally assign a semantic plausibility measure as it parses phrases and sentences.

研究动机与目标

• 为解决当前动态语法（DS）缺乏增量式、分级语义解释的问题，尤其是缺乏处理多义性和基于预期的处理机制。
• 扩展DS以支持组合式分布语义，实现非确定性的、基于向量的语义表征，使其在解析过程中逐步演化。
• 建模听者如何基于上下文实时消歧词义并评估句子延续的合理性。
• 提供一个正式框架，其中DS树节点被赋予向量和张量，支持分级相似性与合理性判断。
• 通过将解析机制扩展为包含目标导向的张量继承（tensor subsumption）机制，为对话系统中的增量生成奠定基础。

提出的方法

• 动态语法树通过语义向量和张量进行装饰，其中组合通过张量收缩建模，实现组合式语义构建。
• 词义以向量或词义向量的混合表示，多义词被赋予多个向量表示。
• 短语和句子的合理性通过源自分布语义的合理性张量计算，实现对语义连贯性的增量评估。
• 框架采用基于求和的方法组合部分表征，实现在句子完成前即可早期评估语义合理性。
• 通过在解析过程中比较不同词义解释的合理性，实现增量消歧。
• 该方法可推广至任意向量空间语义，具体实现中采用Clark（2013b）的合理性张量来处理动词与名词的组合。

实验结果

研究问题

• RQ1 能否通过组合式分布语义扩展动态语法，以支持增量式、逐词的语义组合？
• RQ2 在句子未完成时，语义合理性如何在解析过程中实现增量计算？
• RQ3 该框架能否在完整句子理解之前，基于即时句法和语义上下文对词义进行消歧？
• RQ4 在仅使用部分输入和基于向量的相似性度量时，该模型在多大程度上可预测合理的句子延续？
• RQ5 同一形式化体系如何同时支持增量理解与对话系统中未来的增量生成？

主要发现

• 该框架在每个词被解析时即可逐步分配语义合理性度量，实现在上下文支持下对多义词（如'dribble'）的早期消歧。
• 在句子'Footballers dribble'中，模型计算出'dribble'的'控制球'含义比'滴落'更合理；而在'Babies dribble'中，'滴落'反而更合理。
• 在'The police tapped his phone'中，模型显示'拦截'比'敲打'更合理，且在解析到宾语后合理性进一步提升。
• 模型可预测合理延续：在'Footballers dribble'之后，'ball'高度合理，而'milk'则不合理，反映出类人的预期形成机制。
• 模型通过实时计算并追踪潜在延续的合理性值，支持增量预期形成，与预测处理理论一致。
• 该框架可推广至任意向量空间语义，并为通过目标张量与张量继承机制扩展DS以实现增量生成提供了基础。