[论文解读] Modelling Sentence Pairs with Tree-structured Attentive Encoder

Yao Zhou, Cong Liu+1 more|arXiv (Cornell University)|Oct 10, 2016

Topic Modeling参考文献 22被引用 16

一句话总结

该论文提出了一种树结构注意力编码器，通过利用一个句子的RNN编码表示来引导另一个句子的树结构编码过程中的注意力机制，从而增强句子对建模。通过将注意力机制整合到基于子节点求和的Tree-LSTM和Tree-GRU的依存句法树中，该模型在语义相似度（SICK）和真假问题选择（AI2-8grade）任务上取得了最先进性能，相较于非注意力基线模型在两项任务上表现更优，且在低n-gram重叠情形下表现出更强的泛化能力。

ABSTRACT

We describe an attentive encoder that combines tree-structured recursive neural networks and sequential recurrent neural networks for modelling sentence pairs. Since existing attentive models exert attention on the sequential structure, we propose a way to incorporate attention into the tree topology. Specially, given a pair of sentences, our attentive encoder uses the representation of one sentence, which generated via an RNN, to guide the structural encoding of the other sentence on the dependency parse tree. We evaluate the proposed attentive encoder on three tasks: semantic similarity, paraphrase identification and true-false question selection. Experimental results show that our encoder outperforms all baselines and achieves state-of-the-art results on two tasks.

研究动机与目标

• 通过将注意力机制整合到树结构神经网络中，改进句子对建模，突破传统顺序注意力机制的局限。
• 通过在结构化编码过程中引入跨句子注意力，解决现有模型在编码阶段独立处理句子对的局限性。
• 通过基于另一句子表示动态关注更相关的子树，增强递归神经网络中的语义组合能力。
• 在多个基准数据集上，对语义相似度、释义识别和问题选择等多样化句子对任务进行模型评估。
• 证明在树结构模型中引入注意力机制可提升性能与泛化能力，尤其在低重叠或复杂句子对中表现更优。

提出的方法

• 该模型采用两阶段架构：首先，使用顺序RNN（LSTM或GRU）将每个句子编码为上下文表示。
• 其次，通过注意力树-RNN（Tree-LSTM或Tree-GRU）从依存句法树递归构建句子表示，利用另一句子的RNN输出作为注意力查询。
• 在每个内部节点上，对子节点计算注意力权重，使模型在组合过程中能突出语义相关的子树。
• 注意力机制通过查询（另一句子的表示）与每个子节点隐藏状态之间的兼容性函数实现。
• 将两个树结构的最终句子表示输入多层感知机，用于句子对任务的分类或回归。
• 根据任务类型，使用交叉熵或均方误差损失进行端到端训练。

实验结果

研究问题

• RQ1 注意力能否有效集成到树结构递归神经网络中，以提升句子对建模性能？
• RQ2 利用一个句子的表示来引导另一句子的结构化编码，是否能提升在语义相似度与释义识别任务上的表现？
• RQ3 与非注意力树-RNN相比，该注意力树编码器在低n-gram重叠句子对上的泛化能力如何？
• RQ4 该模型是否能比顺序RNN或标准树-RNN更好地捕捉复杂或低重叠句子对中的细微语义关系？
• RQ5 注意力权重能提供哪些关于哪些句法子树对最终表示贡献最大的洞察？

主要发现

• 所提出的注意力树编码器在SICK数据集的语义相似度任务上达到最先进性能，优于所有非注意力基线模型。
• 在AI2-8grade数据集的真假问题选择任务上，该模型取得最先进结果，展现出在识别错误问题方面的强大能力。
• 该模型在低n-gram重叠句子对上表现出更强的泛化能力，当n-gram重叠低于40%时，注意力Tree-GRU优于标准Tree-GRU。
• 注意力可视化显示，模型聚焦于语义相关的子树——例如，在构建'playing'的表示时更关注'boy'而非'outdoors'，表明注意力行为具有语义意义。
• SICK数据集上的皮尔逊相关系数随句子长度增加而下降，但注意力树编码器仍优于标准Seq-RNN和Tree-RNN，尤其在句子长度超过20个词时表现更优。
• 该模型在MSRP数据集上未能正确识别数值型释义，表明尽管在语义相似度任务上表现优异，但在捕捉数值等价性方面仍存在局限。