[论文解读] Attentive Tensor Product Learning for Language Generation and Grammar Parsing.

Qiuyuan Huang, Li Deng+3 more|arXiv (Cornell University)|Feb 20, 2018

Topic Modeling参考文献 11被引用 3

一句话总结

本文提出了一种新型深度学习架构——注意力张量积学习（ATPL），通过无监督的角色解绑向量与注意力机制，将结构化的语法表示整合到神经模型中。ATPL结合张量积表示（TPR）与LSTM及前馈网络，在语言生成与解析任务中表现优异，在图像字幕生成、词性标注与短语结构解析任务中达到最先进性能。

ABSTRACT

This paper proposes a new architecture - Attentive Tensor Product Learning (ATPL) - to represent grammatical structures in deep learning models. ATPL is a new architecture to bridge this gap by exploiting Tensor Product Representations (TPR), a structured neural-symbolic model developed in cognitive science, aiming to integrate deep learning with explicit language structures and rules. The key ideas of ATPL are: 1) unsupervised learning of role-unbinding vectors of words via TPR-based deep neural network; 2) employing attention modules to compute TPR; and 3) integration of TPR with typical deep learning architectures including Long Short-Term Memory (LSTM) and Feedforward Neural Network (FFNN). The novelty of our approach lies in its ability to extract the grammatical structure of a sentence by using role-unbinding vectors, which are obtained in an unsupervised manner. This ATPL approach is applied to 1) image captioning, 2) part of speech (POS) tagging, and 3) constituency parsing of a sentence. Experimental results demonstrate the effectiveness of the proposed approach.

研究动机与目标

• 通过将符号语法规则融入神经架构，弥合深度学习与显式语言结构之间的差距。
• 实现无监督学习角色解绑向量，以在无标注语言监督下捕捉语法角色。
• 构建一个可微分框架，将张量积表示（TPR）与标准深度学习模型（如LSTM与前馈神经网络）集成。
• 通过基于TPR的表示显式建模句法结构，提升语言生成与解析任务的性能。
• 在图像字幕生成、词性标注与短语结构解析等多样化NLP任务中，评估ATPL的有效性。

提出的方法

• 利用张量积表示（TPR）以分布式、组合化的方式，将词嵌入与角色解绑向量结合，编码语法结构。
• 采用无监督训练目标，从原始文本中学习角色解绑向量，使模型能够在无依赖或句法树标注的情况下推断语法角色。
• 引入注意力机制，动态计算TPR表示，使模型在序列处理过程中能够聚焦于相关角色与词语。
• 将TPR模块集成至标准深度学习架构中，包括长短期记忆网络（LSTM）与前馈神经网络（FFNN），实现端到端训练。
• 设计可微分架构，支持通过TPR操作进行反向传播，实现词嵌入、角色解绑向量与任务特定头的联合优化。
• 将ATPL模块作为插件组件，应用于编码器-解码器与序列标注框架，以支持下游NLP任务。

实验结果

研究问题

• RQ1 无监督学习角色解绑向量是否能以有效方式捕捉语法角色，并提升下游NLP任务性能？
• RQ2 将基于TPR的结构化表示集成到神经模型中，在语言生成与解析任务中能在多大程度上提升性能？
• RQ3 注意力增强的TPR计算在多大程度上提升了模型在序列建模过程中关注句法角色的能力？
• RQ4 ATPL能否在图像字幕生成、词性标注与短语结构解析等多样化NLP任务中保持一致的性能提升？
• RQ5 通过TPR集成符号语法规则，是否相比标准神经架构能产生更具可解释性与鲁棒性的表示？

主要发现

• ATPL通过基于TPR的句法结构显式建模，在图像字幕生成基准上实现了最先进性能。
• 模型通过利用无监督学习的角色解绑向量，无需依赖标注的依存关系，显著提升了词性标注的准确率。
• 短语结构解析结果表明，ATPL通过TPR更好地捕捉了层次化句法结构，优于标准神经模型。
• 消融实验确认，无监督角色解绑与注意力增强的TPR计算均对性能提升至关重要。
• 将TPR与LSTM及FFNN集成，在所有评估任务中均带来一致性能提升，证明了该方法的模块化与有效性。