[论文解读] Bidirectional Recursive Neural Networks for Token-Level Labeling with Structure

Ozan İrsoy, Claire Cardie|arXiv (Cornell University)|Dec 2, 2013

Topic Modeling参考文献 19被引用 17

一句话总结

本文提出了一种双向递归神经网络（Bi-Recursive），通过在二叉解析树上同时向上游（通过递归组合）和向下游（通过反向遍历）传播表示，捕捉结构信息和上下文信息，实现标记级别的分类。该方法在意见表达抽取任务中显著提升性能，尤其在表达性主观表达（ESEs）方面，F值和精确率均优于单向和双向循环网络，证明了在序列标注任务中结构归纳偏置的价值。

ABSTRACT

Recently, deep architectures, such as recurrent and recursive neural networks have been successfully applied to various natural language processing tasks. Inspired by bidirectional recurrent neural networks which use representations that summarize the past and future around an instance, we propose a novel architecture that aims to capture the structural information around an input, and use it to label instances. We apply our method to the task of opinion expression extraction, where we employ the binary parse tree of a sentence as the structure, and word vector representations as the initial representation of a single token. We conduct preliminary experiments to investigate its performance and compare it to the sequential approach.

研究动机与目标

• 解决序列模型在捕捉自然语言处理序列标注任务中长距离依赖和结构关系方面的局限性。
• 通过引入向下的信息流，将递归神经网络扩展至标记级别的标注，以补充标准的向上组合机制。
• 探究解析树中的结构信息是否能提升意见表达抽取任务的性能。
• 在真实世界自然语言处理序列标注基准上，将所提出的双向递归架构与单向和双向循环网络进行比较。
• 评估结构归纳偏置在检测意见持有者、直接主观表达（DSEs）和表达性主观表达（ESEs）方面的影响。

提出的方法

• 模型以二叉解析树作为结构输入，词向量作为初始的标记表示。
• 通过递归神经网络执行向上游传播，以自底向上的方式将子节点表示组合为父节点表示。
• 通过独立的向下游传递过程，从根节点向叶节点传播表示，为每个标记捕获结构上下文。
• 每个标记的最终表示结合了向上和向下的隐藏状态，实现双向结构感知。
• 该架构通过标准反向传播端到端训练，使用BIO标注在标记级别进行监督学习。
• 未来方向考虑对向上层进行预训练，以提升训练稳定性。

实验结果

研究问题

• RQ1 双向递归神经网络是否能通过引入超越序列顺序的结构上下文，改善标记级别的标注？
• RQ2 在递归网络中引入向下的信息流，对意见表达抽取任务的性能有何影响？
• RQ3 结构归纳偏置是否能提升对ESEs的检测效果，而ESEs通常需要上下文理解？
• RQ4 在DSE和ESE检测任务中，双向递归网络与单向和双向RNN相比，性能如何？
• RQ5 当意见持有者与表达相距较远时，模型是否仍能保持性能？

主要发现

• Combined架构（Bi-Recursive + Bi-RNN）在ESE检测中达到58.71的二分类F值，显著优于Bi-RNN（58.03）和Recursive基线（56.73）。
• Bi-Recursive网络的精确率（58.71）高于Bi-RNN（58.03），表明在几乎不损失召回率的情况下，标签质量更高。
• 在意见持有者与DSE联合检测任务中，Combined网络在意见持有者检测上达到52.20的二分类F值，优于Bi-RNN的51.36，表明在复杂链接任务中性能更优。
• 在意见持有者与表达相距较远（间隔≥5个标记）的句子中，Combined网络保持了稳定的DSE检测性能，而Bi-RNN性能下降，表明结构建模有助于捕捉长距离依赖。
• Bi-Recursive网络的精确率较低但召回率较高，与Bi-RNN形成互补，前者在捕捉上下文相关的ESEs方面表现更优。
• 结果表明，结构信息对ESE检测和意见持有者识别尤其有益，这些任务依赖于超出局部词形的上下文和句法线索。