[论文解读] Bidirectional Tree-Structured LSTM with Head Lexicalization

Zhiyang Teng, Yue Zhang|arXiv (Cornell University)|Nov 21, 2016

Topic Modeling参考文献 30被引用 27

一句话总结

本文提出一种具有自动词头词化功能的双向树形LSTM，通过将词头表示注入所有节点并实现自顶向下的信息流动，增强了成分树建模能力。该方法在Stanford情感树库上提升了情感分类准确率，并取得了最先进性能，其中在'非常负面'和'非常正面'类别上分别取得了10%和11%的提升。

ABSTRACT

Sequential LSTM has been extended to model tree structures, giving competitive results for a number of tasks. Existing methods model constituent trees by bottom-up combinations of constituent nodes, making direct use of input word information only for leaf nodes. This is different from sequential LSTMs, which contain reference to input words for each node. In this paper, we propose a method for automatic head-lexicalization for tree-structure LSTMs, propagating head words from leaf nodes to every constituent node. In addition, enabled by head lexicalization, we build a tree LSTM in the top-down direction, which corresponds to bidirectional sequential LSTM structurally. Experiments show that both extensions give better representations of tree structures. Our final model gives the best results on the Standford Sentiment Treebank and highly competitive results on the TREC question type classification task.

研究动机与目标

• 为解决树形LSTM仅在叶节点使用输入词的问题，避免非叶成分缺失词头输入。
• 通过将词头信息注入每个节点，改进树形LSTM的表示能力，增强句法与语义建模。
• 通过引入自顶向下的传播路径，实现双向树建模，类比双向RNN。
• 开发一种神经网络、形式无关的词头词化方法，避免依赖基于规则的语言学关系。
• 在情感分类与依存句法分析任务上评估模型，证明其在性能上优于单向树形LSTM与双向序列LSTM基线模型。

提出的方法

• 提出一种树形LSTM，通过词头词化扩展自底向上的计算过程，使每个节点的输入包含其成分的词头词。
• 使用神经注意力机制自动学习每个成分节点的词头词，消除对基于规则的词头查找的依赖。
• 引入一种自顶向下的树形LSTM变体，实现从根节点到叶节点的信息传播，补充标准的自底向上流动。
• 将自底向上与自顶向下树形LSTM状态结合，形成双向树形LSTM，提升上下文表示能力。
• 采用可微分的打分函数进行解析器重排序，利用节点组合状态与学习到的词头向量对句法树进行排序。
• 使用边缘损失在节点级别进行端到端训练，实现树结构与表示的联合优化。

实验结果

研究问题

• RQ1 在非叶节点中注入词头信息是否能提升树形LSTM的表征能力？
• RQ2 树形LSTM中的自顶向下信息流是否能增强对长距离依赖与复杂语义组合的建模能力？
• RQ3 一种神经网络、端到端的词头词化方法是否能在泛化能力与性能上超越基于规则的方法？
• RQ4 在情感分类与句法分析任务中，双向树形LSTM相较于单向树形LSTM与双向序列LSTM表现如何？
• RQ5 自动学习的词头信息在句法任务（如解析器重排序）中贡献程度如何？

主要发现

• 所提出的双向树形LSTM在Stanford情感树库上取得了报告的最佳准确率，优于以往最先进模型。
• 与基线模型相比，该模型在'非常负面'类别上准确率提升10%，在'非常正面'类别上提升11%。
• 对于长度超过30个词的句子，该模型相比基线ConTree LSTM准确率提升3.5个百分点，证明其在长距离依赖建模上的有效性。
• 自动词头词化机制学习到的词头包含句法与情感相关词汇的混合，显示出对语义任务的适应能力。
• 在解析器重排序任务中，F1值从基线的90.40提升至90.83，证实学习到的词头信息同样有助于句法任务。
• 在情感分类与句法分析基准测试中，双向树形LSTM均优于单向树形LSTM与双向序列LSTM模型。