[論文レビュー] An improved neural network model for joint POS tagging and dependency parsing

Dat Quoc Nguyen, Karin Verspoor|arXiv (Cornell University)|Jul 11, 2018

Topic Modeling参考文献 47被引用数 20

ひとこと要約

本稿では、BiLSTMベースのPOSタガーとBISTグラフベースの依存解析器を統合した共同ニューラルネットワークモデルを提案する。このモデルは、タギングと解析の両方の性能を向上させ、英語Penn Treebankでは94.51% UAS、92.87% LAS、97.97% POS精度を達成し、最先端の結果を示した。これにより、多言語解析および下流の自然言語処理応用分野において顕著な向上が見られた。

ABSTRACT

We propose a novel neural network model for joint part-of-speech (POS) tagging and dependency parsing. Our model extends the well-known BIST graph-based dependency parser (Kiperwasser and Goldberg, 2016) by incorporating a BiLSTM-based tagging component to produce automatically predicted POS tags for the parser. On the benchmark English Penn treebank, our model obtains strong UAS and LAS scores at 94.51% and 92.87%, respectively, producing 1.5+% absolute improvements to the BIST graph-based parser, and also obtaining a state-of-the-art POS tagging accuracy at 97.97%. Furthermore, experimental results on parsing 61 "big" Universal Dependencies treebanks from raw texts show that our model outperforms the baseline UDPipe (Straka and Straková, 2017) with 0.8% higher average POS tagging score and 3.6% higher average LAS score. In addition, with our model, we also obtain state-of-the-art downstream task scores for biomedical event extraction and opinion analysis applications. Our code is available together with all pre-trained models at: https://github.com/datquocnguyen/jPTDP

研究の動機と目的

• 不完全な自動POSタギングによって引き起こされる依存解析における誤差伝搬の問題を解消するため、POSタグと依存構造を共同で学習すること。
• BiLSTMベースのタギング部をBISTグラフベースの解析器アーキテクチャに統合することで、解析性能を向上させること。
• 内在的解析およびPOSタギングの両タスクで最先端の性能を達成するとともに、下流の自然言語処理応用分野でも優れた性能を発揮すること。
• 61個のUniversal Dependencies treebankを用いて、rawテキストでの多言語解析において一般化性能を示すこと。
• 低リソースおよびバイオメディカルNLPの文脈において、再利用可能な強力なベースラインを確立すること。

提案手法

• 本モデルは2段階のアーキテクチャを採用している：単語および文字レベルの埋め込みからPOSタグを予測するBiLSTMベースのタギング部。
• 単語表現は、事前学習済みのGloVe単語埋め込みと、文字列のBiLSTMによる文字レベル表現を連結することで形成される。
• 解析部は、入力単語と予測されたPOSタグをそれぞれ別個のBiLSTMで符号化し、アーク予測のための潜在表現を生成する。
• 依存アークは、潜在表現に基づいて多層パーセプトロン（MLP）を用いて予測され、別のMLPでアークラベルも予測される。
• POSタギングには交差エントロピー損失、依存解析には構造的CRFに類似したデコード手法を用いて、エンドツーエンドで学習される。
• 共同学習により、タギング部は解析の監視信号を、解析部はタギングの監視信号をそれぞれ得られ、両タスクの性能向上が実現される。

実験結果

リサーチクエスチョン

• RQ1 独立したモデルと比較して、POSタギングと依存解析の共同学習が、両タスクの性能向上に寄与するか？
• RQ2 グラフベースの解析器にBiLSTMベースのタガーモデルを統合することで、より高い解析精度およびPOSタギング精度が達成されるか？
• RQ3 Universal Dependencies treebankを用いた多言語およびrawテキストの解析タスクにおいて、共同モデルはどの程度の性能を示すか？
• RQ4 バイオメディカルイベント抽出や意見分析といった下流の応用分野でも、最先端の結果を達成できるか？
• RQ5 高い内在的解析性能が、必ずしも下流の応用性能を向上させるわけではないか？

主な発見

• 英語Penn Treebankでは、94.51% UASおよび92.87% LASを達成し、BISTパーサーと比較して1.5%以上の絶対的向上を示した。
• POSタギング精度は97.97%に達し、ベンチマークで新たな最先端水準を樹立した。
• 61個の大きなUniversal Dependencies treebankにおいて、UDPipeを上回り、平均でPOSタギングF1が0.8%向上、UASが3.1%向上、LASが3.6%向上した。
• CoNLL 2018共有タスクでは、3つの下流タスク（バイオメディカルイベント抽出、意見分析など）において、非公式なF1スコアで最高を記録した。
• トップランクのEPE 2017システムよりも少ない学習データを用いても、イベント抽出および意見分析のF1スコアが高く、内在的解析品質が必ずしも下流性能を予測しないことを示した。
• 本モデルのコードおよび事前学習済み重みは、https://github.com/datquocnguyen/jPTDP で公開されている。