[論文レビュー] DRAGNN: A Transition-based Framework for Dynamically Connected Neural Networks

Lingpeng Kong, Chris Alberti+3 more|arXiv (Cornell University)|Mar 13, 2017

Topic Modeling参考文献 23被引用数 31

ひとこと要約

DRAGNN は、中間活性化に基づいてネットワーク接続をアンフォールドすることで、効率的で構造的な予測を可能にする、動的に接続された再帰ニューラルネットワークのモジュラーで遷移ベースのフレームワークである。これは、依存構文解析と要約抽出の両方で、標準的なアテンション付きseq2seqと固定アーキテクチャモデルを上回る、より高い精度と線形時間の推論を達成し、最先端の性能を発揮する。

ABSTRACT

In this work, we present a compact, modular framework for constructing novel recurrent neural architectures. Our basic module is a new generic unit, the Transition Based Recurrent Unit (TBRU). In addition to hidden layer activations, TBRUs have discrete state dynamics that allow network connections to be built dynamically as a function of intermediate activations. By connecting multiple TBRUs, we can extend and combine commonly used architectures such as sequence-to-sequence, attention mechanisms, and re-cursive tree-structured models. A TBRU can also serve as both an encoder for downstream tasks and as a decoder for its own task simultaneously, resulting in more accurate multi-task learning. We call our approach Dynamic Recurrent Acyclic Graphical Neural Networks, or DRAGNN. We show that DRAGNN is significantly more accurate and efficient than seq2seq with attention for syntactic dependency parsing and yields more accurate multi-task learning for extractive summarization tasks.

研究の動機と目的

• 構造予測タスクのための系列対系列モデルにおける固定サイズの符号化と2次的アテンション機構の限界を克服すること。
• 入力および出力構造（例：構文木や依存関係）を明示的に扱える、動的で構造に配慮したニューラルネットワークアーキテクチャを可能にすること。
• エンコーダ・デコーダ、アテンション、再帰的ニューラルネットワークのパラダイムを、マルチタスク学習を可能にする単一のモジュラーフレームワークに統合すること。
• 中間的な構造的表現を予測・利用するモデルを共同で学習可能にすることで、誤差逆伝播と表現共有を改善すること。

提案手法

• フレームワークは、離散的な状態動的を維持し、中間活性化に基づいて再帰を計算するモジュラーなニューラルユニット「遷移ベース再帰ユニット（TBRU）」を導入する。
• TBRUは、各遷移状態のベクトル表現を生成し、それらは隠れ状態として、および構文成分のような中間出力の構造的符号化として機能する。
• TBRU間の動的接続は予測されたアクションによって決定され、推論中に展開される、巡回のないタスク固有の計算グラフを形成する。
• 入力、部分木、再帰の3つの接続タイプをサポートすることで、タスクおよびアーキテクチャ間での表現共有を柔軟に可能にする。
• 異なるタスク（例：構文解析と要約）間のTBRUを接続することで、マルチタスク学習を可能にする。特に、中間表現を共有することで実現する。
• 1つのTBRU内でエンコーダーとデコーダーの両方の役割を果たすことができ、中間構造を介した誤差逆伝播を伴う、構造的出力のエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なアテンション付きseq2seqと比較して、モジュラーで動的なニューラルネットワークフレームワークは、依存構文解析のような構造予測タスクの性能向上を図れるか？
• RQ2 中間的な構造的表現（例：構文木）を、1つのモデル内で複数の自然言語処理タスクに効果的に共有・利用できるか？
• RQ3 ニューラルユニット間の動的で巡回のない接続は、2次的アテンション機構とは異なり、線形時間の推論を達成しながらも、長距離依存性を維持できるか？
• RQ4 1つのTBRUがエンコーダーとデコーダーの両方として機能できる程度はどの程度で、より正確なマルチタスク学習を可能にするか？
• RQ5 明示的な構造的表現の統合により、マルチタスク学習環境下での要約抽出性能が向上するか？

主な発見

• DRAGNNは、Treebank Union設定において、同等の計算コストで、先行モデルを上回る最先端の依存構文解析精度を達成した。
• フレームワークは、部分木関数を通じて依存構文解析器から得た語句表現に要約モデルが直接アクセスできるようにすることで、要約抽出性能を顕著に向上させた。
• DRAGNNは、左右両方向の解析器間で相互に誤差逆伝播を可能にすることで、二重方向解析における誤差の累積を軽減した。
• モデルは線形時間の推論を達成し、2次的アテンション機構の複雑性を回避しながら、動的接続によって長距離依存性のモデリングを維持した。
• DRAGNNを用いたマルチタスク学習は、単一タスクのベースラインや、スタック伝搬や共有エンコーダ・デコーダ構造を用いた先行のマルチタスク設定を上回る性能を発揮した。
• TBRUの使用により、1つのモデルが中間構造（例：構文成分）を同時に予測・利用でき、計算グラフ全体にわたるエンドツーエンド微分可能となった。