[论文解读] Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

Kai Sheng Tai, Richard Socher+1 more|arXiv (Cornell University)|Feb 28, 2015

Topic Modeling被引用 16

一句话总结

本文提出 Tree-LSTM，一种长短期记忆网络的树状结构泛化模型，通过使用独立门控机制从多个子节点组合隐藏状态，从而更好地建模句子中的句法结构。由于通过分层组合改善了长距离依赖关系的保留，Tree-LSTMs 在语义相关性和情感分类任务上优于标准的顺序 LSTMs 和现有系统，尤其在较长句子上表现更优。

ABSTRACT

Because of their superior ability to preserve sequence information over time, Long Short-Term Memory (LSTM) networks, a type of recurrent neural network with a more complex computational unit, have obtained strong results on a variety of sequence modeling tasks. The only underlying LSTM structure that has been explored so far is a linear chain. However, natural language exhibits syntactic properties that would naturally combine words to phrases. We introduce the Tree-LSTM, a generalization of LSTMs to tree-structured network topologies. Tree-LSTMs outperform all existing systems and strong LSTM baselines on two tasks: predicting the semantic relatedness of two sentences (SemEval 2014, Task 1) and sentiment classification (Stanford Sentiment Treebank).

研究动机与目标

• 解决线性链 LSTMs 在捕捉自然语言中句法结构和长距离依赖关系方面的局限性。
• 探究隐藏状态的树状结构组合是否相比顺序 RNN 能够改善句子表征。
• 开发一种支持任意分支因子树结构的广义 LSTM 架构，以应用于自然语言处理任务。
• 在语义相关性和情感分类任务上，通过实证评估 Tree-LSTMs 的性能，并与强基线模型进行比较。

提出的方法

• 提出 Tree-LSTM 作为标准 LSTMs 在树状计算图上的泛化模型，其中每个内部节点通过组合多个子节点的隐藏状态进行计算。
• 为每个子节点定义独立的输入门、遗忘门和输出门，采用子节点特定的更新规则，以保持独立的内存状态。
• 使用聚合函数通过学习权重和非线性变换来整合子节点的隐藏状态和细胞状态，从而保留层次结构。
• 通过结构反向传播进行端到端训练，其中句法树由依存句法分析生成。
• 将模型应用于句子表征任务，以词嵌入作为输入，并在下游分类或回归任务上进行微调。
• 利用依存句法分析构建树结构，使模型能够利用句法信息以改善语义建模。

实验结果

研究问题

• RQ1 树状结构的 LSTM 架构是否能在句子语义建模方面优于标准的顺序 LSTMs？
• RQ2 隐藏状态的分层组合是否能改善句子中长距离依赖关系的表征？
• RQ3 Tree-LSTM 在需要细粒度语义理解的任务（如语义相关性与情感分类）上的表现如何？
• RQ4 与线性链相比，树结构在多大程度上缓解了长序列中的梯度消失问题？
• RQ5 Tree-LSTMs 的性能提升在更长或更复杂的句法结构上是否更加显著？

主要发现

• 在 SemEval 2014 任务 1 的语义相关性任务中，Tree-LSTMs 显著优于标准顺序 LSTMs，与人工标注评分的皮尔逊相关系数更高。
• 在斯坦福情感树库上，Tree-LSTMs 在情感分类任务中达到最先进性能，超越了现有系统和 LSTM 基线模型。
• 依存树形 Tree-LSTM 模型对句子长度表现出强鲁棒性，在较长句子（13–15 个词）上仍保持高性能，而顺序 LSTMs 在此类句子上表现困难。
• 即使词语重叠极少，Tree-LSTMs 也能检索到语义相关的句子，表明其有效捕捉了结构与语义关系。
• 该模型成功保留并强调了句法树中远距离节点的信息，例如在根节点深度为 4 的情况下，仍能检索到与海洋相关的句子。
• 性能提升在不同句子长度上均保持一致，表明 Tree-LSTMs 编码的表征具有结构意义，而不仅限于长距离依赖关系。