[論文レビュー] Deep Semantic Role Labeling with Self-Attention

Zhixing Tan, Mingxuan Wang+3 more|arXiv (Cornell University)|Dec 5, 2017

Topic Modeling被引用数 15

ひとこと要約

この論文では、長距離依存関係や構造的関係をRNNよりも効果的に捉えることができる自己注意に基づくニューラルネットワーク、DeepAttを提案する。モデルはCoNLL-2005で83.4、CoNLL-2012で82.7のF1スコアを達成し、それぞれ1.8点および1.0点の上回り、1枚のGPUで1秒間に50Kトークンを処理する。

ABSTRACT

Semantic Role Labeling (SRL) is believed to be a crucial step towards natural language understanding and has been widely studied. Recent years, end-to-end SRL with recurrent neural networks (RNN) has gained increasing attention. However, it remains a major challenge for RNNs to handle structural information and long range dependencies. In this paper, we present a simple and effective architecture for SRL which aims to address these problems. Our model is based on self-attention which can directly capture the relationships between two tokens regardless of their distance. Our single model achieves F$_1=83.4$ on the CoNLL-2005 shared task dataset and F$_1=82.7$ on the CoNLL-2012 shared task dataset, which outperforms the previous state-of-the-art results by $1.8$ and $1.0$ F$_1$ score respectively. Besides, our model is computationally efficient, and the parsing speed is 50K tokens per second on a single Titan X GPU.

研究の動機と目的

• RNNベースのモデルが意味的役割ラベリングにおける長距離依存関係や構造的情報を処理する際の限界を解消すること。
• 構文的特徴や複雑なデコード機構に依存しない、より単純で効率的なアーキテクチャの開発。
• 自己注意メカニズムを用いて、ドメイン内およびドメイン外のSRLデータセットにおける性能向上。
• 高い推論速度を維持しながら、またはそれ以上に最先端の性能を達成すること。

提案手法

• モデルは自己注意を用いて、距離にかかわらず任意の2トークン間のグローバルな依存関係を直接捉える。これにより、RNNと比較してO(1)のパス長が実現される。
• 構文的特徴やコンテキストウィンドウを必要とせず、生の発話文と述語マスクを入力として処理する。
• 自己注意を、再帰的（RNN）、畳み込み的（CNN）、順方向（FFN）の3つのバリエーションと統合し、表現を豊かにする。
• SRLをBIOタギング問題として扱い、論理的回帰の上にargmaxデコードを適用することで、CRFや制約付きデコードを避ける。
• 自己注意メカニズムにより、情報の流れが遮られず、潜在的な構文的構造のモデリングが向上する。
• 順方向バージョンにより高い並列処理が可能となり、1枚のTitan X GPUで1秒間に50,000トークンの解析速度が達成された。

実験結果

リサーチクエスチョン

• RQ1 自己注意は、RNNと比較して意味的役割ラベリングにおける長距離依存関係を効果的にモデル化できるか？
• RQ2 構文的入力なしで、自己注意ベースのモデルが標準的なSRLベンチマークでRNNベースのモデルを上回るか？
• RQ3 従来のエンドツーエンド手法と比較して、モデルはドメイン外データでどのように性能を発揮するか？
• RQ4 CRFや制約付きデコードと比較して、より単純なデコード戦略（argmax）がSRLで同等または優れた結果をもたらすか？
• RQ5 自己注意ベースのSRLモデルの計算効率（速度およびスケーラビリティ）はどの程度か？

主な発見

• 提案されたDeepAttモデルは、CoNLL-2005データセットでF1スコア83.4を達成し、前回の最先端技術を1.8ポイント上回った。
• CoNLL-2012データセットでは、F1スコア82.7を達成し、前回の最先端技術を1.0ポイント上回った。
• ドメイン外データセットでは、従来のエンドツーエンド手法と比較してF1スコアが2.0ポイント向上した。
• モデルの順方向バージョンは高速な推論を可能にし、1枚のTitan X GPUで1秒間に50,000トークンを処理した。
• 混同行列から、難易度の高い付加的役割（例：AM-DIR、AM-LOC、AM-MNR）を区別する際の誤差率が低下しており、困難な意味的違いの一般化性能が向上していることが示された。
• モデルの性能向上は、自己注意がRNNよりも長距離依存関係や構造的関係をより効果的にモデル化できる能力に起因する。