[论文解读] A Neural-Symbolic Approach to Natural Language Tasks.

Qiuyuan Huang, Paul Smolensky+3 more|arXiv (Cornell University)|Oct 29, 2017

Multimodal Machine Learning Applications参考文献 19被引用 4

一句话总结

本文提出张量积生成网络（TPGN），一种新颖的神经符号架构，将张量积表示（TPR）与深度学习相结合，显式建模语法结构和词性标注等语言结构。通过无监督方式学习角色解绑向量，并与LSTM结合，TPGN能够生成结构化句子并提取短语结构，在图像字幕生成、词性分类和句法解析任务中表现出更优性能。

ABSTRACT

Deep learning (DL) has in recent years been widely used in natural language processing (NLP) applications due to its superior performance. However, while natural languages are rich in grammatical structure, DL has not been able to explicitly represent and enforce such structures. This paper proposes a new architecture to bridge this gap by exploiting tensor product representations (TPR), a structured neural-symbolic framework developed in cognitive science over the past 20 years, with the aim of integrating DL with explicit language structures and rules. We call it the Tensor Product Generation Network (TPGN), and apply it to 1) image captioning, 2) classification of the part of speech of a word, and 3) identification of the phrase structure of a sentence. The key ideas of TPGN are: 1) unsupervised learning of role-unbinding vectors of words via a TPR-based deep neural network, and 2) integration of TPR with typical DL architectures including Long Short-Term Memory (LSTM) models. The novelty of our approach lies in its ability to generate a sentence and extract partial grammatical structure of the sentence by using role-unbinding vectors, which are obtained in an unsupervised manner. Experimental results demonstrate the effectiveness of the proposed approach.

研究动机与目标

• 解决深度学习在显式表示和强制执行自然语言语法规则方面的局限性。
• 通过将结构化表示整合到深度学习架构中，弥合神经网络与符号语言规则之间的差距。
• 实现无监督学习角色解绑向量，以分布式、可解释的方式编码句法角色。
• 构建统一框架，结合深度学习的表征能力与符号语法的结构不变性。
• 在需要句法意识的核心自然语言处理任务上评估该方法，包括图像字幕生成、词性标注和短语结构识别。

提出的方法

• TPGN采用张量积表示（TPR）编码词语及其句法角色，实现意义的结构化组合。
• 通过无监督训练过程学习角色解绑向量，使模型能够在分布式向量空间中分离角色与内容。
• 该架构将TPR与长短期记忆（LSTM）网络结合，实现序列生成的同时保持语法结构。
• 模型利用TPR表示句子的层次结构，实现对短语边界和句法成分的显式解析。
• 该框架支持端到端训练，其中TPR组件与深度神经网络参数联合优化。
• 该方法支持生成具有受控句法结构的句子，并能从输入序列中提取部分语法结构。

实验结果

研究问题

• RQ1 在无显式语法监督的情况下，深度学习模型能否有效学习并强制执行自然语言生成中的句法结构？
• RQ2 通过无监督学习获得的角色解绑向量在多大程度上能支持准确的词性分类？
• RQ3 与标准神经网络相比，基于TPR的表示在多大程度上能提升对句子中短语结构的建模能力？
• RQ4 将TPR与LSTM结合是否能提升图像字幕生成性能，同时保持句法连贯性？
• RQ5 与监督或弱监督方法相比，无监督学习TPR组件在捕捉语言结构方面表现如何？

主要发现

• TPGN在图像字幕生成任务中表现具有竞争力，生成的字幕比标准LSTM基线模型更具语法连贯性和结构准确性。
• 该模型在词性标注任务中表现优异，通过无监督学习的角色解绑向量有效捕捉了句法角色。
• 短语结构识别任务成功实现，TPR使模型能够从生成或输入序列中显式提取句法成分。
• 无监督学习角色解绑向量在无需标注句法数据的情况下，有效捕捉了句法角色。
• TPR与LSTM的结合使模型在序列生成过程中保持结构一致性，显著减少了句法错误。
• 结果表明，通过TPR将神经学习与符号结构结合，可提升结构化自然语言处理任务的可解释性与性能。