[论文解读] DRAGNN: A Transition-based Framework for Dynamically Connected Neural Networks

Lingpeng Kong, Chris Alberti+3 more|arXiv (Cornell University)|Mar 13, 2017

Topic Modeling参考文献 23被引用 31

一句话总结

DRAGNN 是一种模块化、基于转移的动态连接循环神经网络框架，通过基于中间激活值展开网络连接，实现高效、结构化的预测。它在依存句法分析和抽取式摘要任务中达到最先进性能，准确率更高且推理时间线性，优于标准的 seq2seq 注意力模型和固定架构模型。

ABSTRACT

In this work, we present a compact, modular framework for constructing novel recurrent neural architectures. Our basic module is a new generic unit, the Transition Based Recurrent Unit (TBRU). In addition to hidden layer activations, TBRUs have discrete state dynamics that allow network connections to be built dynamically as a function of intermediate activations. By connecting multiple TBRUs, we can extend and combine commonly used architectures such as sequence-to-sequence, attention mechanisms, and re-cursive tree-structured models. A TBRU can also serve as both an encoder for downstream tasks and as a decoder for its own task simultaneously, resulting in more accurate multi-task learning. We call our approach Dynamic Recurrent Acyclic Graphical Neural Networks, or DRAGNN. We show that DRAGNN is significantly more accurate and efficient than seq2seq with attention for syntactic dependency parsing and yields more accurate multi-task learning for extractive summarization tasks.

研究动机与目标

• 解决序列到序列模型在结构化预测任务中固定大小编码和二次方注意力机制的局限性。
• 实现动态、结构感知的神经网络架构，支持显式输入和输出结构（如句法树和依存关系）。
• 在单一模块化框架下统一编码器-解码器、注意力机制和递归神经网络范式，支持多任务学习。
• 支持联合训练能够预测并利用中间结构化表示的模型，提升误差反向传播效率与表征共享能力。

提出的方法

• 该框架引入了基于转移的循环单元（TBRU），一种模块化神经单元，能够保持离散状态动态，并基于中间激活值计算循环。
• TBRUs 为每个转移状态生成向量表示，这些表示既作为隐藏状态，也作为中间输出（如句法成分）的结构化编码。
• TBRU 之间的动态连接由预测动作决定，从而在推理过程中展开为无环、任务特定的计算图。
• 该框架支持多种连接类型——输入（Input）、子树（Subtree）和循环（Recurrence）——实现跨任务和架构的灵活表征共享。
• 通过在不同任务（如句法分析和摘要生成）之间连接 TBRU 并共享中间表示，实现多任务学习。
• 该架构支持单个 TBRU 同时承担编码器和解码器角色，实现端到端的结构化输出学习，并支持通过中间结构进行反向传播。

实验结果

研究问题

• RQ1 与标准的 seq2seq 注意力模型相比，模块化、动态的神经网络框架是否能提升依存句法分析等结构化预测任务的性能？
• RQ2 如何在单一模型中有效共享并利用多个自然语言处理任务之间的中间结构化表示（如句法树）？
• RQ3 神经单元之间的动态、无环连接能否实现线性时间推理，同时保持长距离依赖建模能力，而避免二次方注意力机制的复杂度？
• RQ4 单个 TBRU 在多任务学习中同时作为编码器和解码器，其性能提升程度如何？
• RQ5 在多任务学习设置中，显式结构化表示的集成是否能提升抽取式摘要任务的性能？

主要发现

• DRAGNN 在 Treebank Union 设置下实现了依存句法分析的最先进准确率，且在相同计算成本下优于先前模型。
• 通过 Subtree 功能使摘要模型可直接访问句法分析器生成的短语表示，显著提升了抽取式摘要性能。
• 通过在训练过程中实现左右双向解析器之间的相互误差反向传播，DRAGNN 有效减少了级联错误。
• 该模型实现了线性时间推理，避免了注意力机制的二次方复杂度，同时通过动态连接保持了长距离依赖建模能力。
• 与单任务基线模型及先前多任务设置（如使用栈传播或共享编码器-解码器结构）相比，DRAGNN 的多任务学习性能更高。
• TBRU 的使用使得单一模型能够同时预测并利用中间结构（如句法成分），并通过整个计算图实现端到端可微分。