[论文解读] Distributed Representations for Compositional Semantics

Karl Moritz Hermann|arXiv (Cornell University)|Nov 12, 2014

Natural Language Processing Techniques参考文献 134被引用 10

一句话总结

本论文提出基于神经网络的模型，用于学习分布式语义表示，将词级语义组合成更丰富、更具组合性的短语和句子表示。通过整合句法结构和多语言信号，该方法在框架语义分析任务中达到最先进性能，并表明句法和跨语言数据显著提升了自然语言处理任务中的语义组合性。

ABSTRACT

The mathematical representation of semantics is a key issue for Natural Language Processing (NLP). A lot of research has been devoted to finding ways of representing the semantics of individual words in vector spaces. Distributional approaches --- meaning distributed representations that exploit co-occurrence statistics of large corpora --- have proved popular and successful across a number of tasks. However, natural language usually comes in structures beyond the word level, with meaning arising not only from the individual words but also the structure they are contained in at the phrasal or sentential level. Modelling the compositional process by which the meaning of an utterance arises from the meaning of its parts is an equally fundamental task of NLP. This dissertation explores methods for learning distributed semantic representations and models for composing these into representations for larger linguistic units. Our underlying hypothesis is that neural models are a suitable vehicle for learning semantically rich representations and that such representations in turn are suitable vehicles for solving important tasks in natural language processing. The contribution of this thesis is a thorough evaluation of our hypothesis, as part of which we introduce several new approaches to representation learning and compositional semantics, as well as multiple state-of-the-art models which apply distributed semantic representations to various tasks in NLP.

研究动机与目标

• 开发能够捕捉超越单个词语的组合语义的分布式语义表示。
• 研究句法结构如何引导神经模型中的语义组合。
• 通过引入多语言信息作为语义基础信号，减少对单语表层形式的依赖。
• 评估分布式表示在组合性自然语言处理任务中的有效性，特别是框架语义分析任务。
• 建立一个学习语义丰富、通用性强的表示框架，以提升下游自然语言处理任务的性能。

提出的方法

• 采用包含依存路径、词性标注、词聚类和句法角色等丰富特征模板的对数线性模型，用于框架语义论元识别。
• 使用L-BFGS优化算法并结合L2正则化，在标注的框架语义数据上训练模型。
• 应用整数线性规划（ILP）进行全局推理，强制实施跨语义角色的结构约束。
• 通过依存句法分析和CCG（范畴语法）类别整合句法信息，以引导神经模型中的组合过程。
• 通过在多种语言间学习共享语义空间，将分布假设扩展至多语言设置。
• 利用英国国家语料库预训练模型进行CCG类别建模，以增强句法泛化能力。

实验结果

研究问题

• RQ1 分布式表示能否有效建模短语和句子中的组合语义？
• RQ2 句法结构在多大程度上影响神经模型中语义组合的准确性和鲁棒性？
• RQ3 多语言数据在多大程度上能减少对单语表层形式的依赖，并提升语义泛化能力？
• RQ4 基于神经网络的模型能否在框架语义分析任务中超越传统方法？
• RQ5 句法结构与分布统计在学习组合语义中的相对贡献是什么？

主要发现

• 所提出的模型在框架语义分析任务中达到最先进性能，在FrameNet和PropBank基准上优于先前方法。
• 整合句法信息——特别是依存路径和CCG类别——显著提升了语义组合性和模型准确率。
• 多语言表示减少了对单语表层形式的依赖，并增强了语义泛化能力，尤其在低资源设置下表现突出。
• 通过ILP实现的全局推理提升了预测语义角色的一致性和结构合理性。
• 结合分布式表示与句法监督的神经模型在多种语言结构中展现出强大的泛化能力。
• 多语言表示的扩展分布假设实现了有效的跨语言语义迁移，提升了零样本和少样本学习能力。