[論文レビュー] Efficient Dependency-Guided Named Entity Recognition

Zhanming Jie, Aldrian Obaja Muis+1 more|arXiv (Cornell University)|Oct 19, 2018

Topic Modeling参考文献 2被引用数 6

ひとこと要約

本稿では、局所的特徴に依存するのではなく、連続する依存関係アーキのカバーするスパンといった、依存木からのグローバルな構造的情報を明示的に活用する、新しい従属関係ガイド付き命名エンティティ認識（NER）モデルを提案する。このモデルは、半マルコフCRFに基づいて構築されており、標準の半マルコフCRFと比較して、著しく短い推論時間を実現しながらも、高い精度を維持する。訓練時間は標準の半マルコフCRFの47%にまで削減される。

ABSTRACT

Named entity recognition (NER), which focuses on the extraction of semantically meaningful named entities and their semantic classes from text, serves as an indispensable component for several down-stream natural language processing (NLP) tasks such as relation extraction and event extraction. Dependency trees, on the other hand, also convey crucial semantic-level information. It has been shown previously that such information can be used to improve the performance of NER (Sasano and Kurohashi 2008, Ling and Weld 2012). In this work, we investigate on how to better utilize the structured information conveyed by dependency trees to improve the performance of NER. Specifically, unlike existing approaches which only exploit dependency information for designing local features, we show that certain global structured information of the dependency trees can be exploited when building NER models where such information can provide guided learning and inference. Through extensive experiments, we show that our proposed novel dependency-guided NER model performs competitively with models based on conventional semi-Markov conditional random fields, while requiring significantly less running time.

研究の動機と目的

• 依存木からのグローバルな構造的情報を、局所的特徴を超えてNER性能向上に有効に活用できるかを調査すること。
• 学習および推論中に依存木構造を明示的に組み込む新しいNERモデルを開発すること。
• 従来の半マルコフCRFベースのモデルと比較して、著しく低い計算コストで競争力のあるNER性能を達成すること。
• 依存構造情報が、エンティティスパン検出をガイドする方法を用いることで、モデルの効率性と正確性を向上させられることを示すこと。
• 依存解析からの構造的事前知識を、モデルの複雑さを増さずに、系列ラベリングタスクに統合可能かどうかを検討すること。

提案手法

• 本モデル（dgmと呼ばれる）は、半マルコフ条件付きランダムフィールド（semi-CRFs）に基づき、依存木のグローバル構造を活用する。
• 有効なネームエンティティスパンを、1つ以上の隣接する依存関係アーキにカバーされる連続スパンとして特定し、この構造的情報をラベル付けのガイドとして用いる。
• モデルは依存関係に基づく構造的制約をCRFフレームワークに直接組み込み、関連する構造的構成にのみ注目できるようにする。
• 平均ケースにおける時間計算量を分析し、線形チェーンCRFと同等であり、追加の要因$L$により計算量が高くなる半マルコフCRFよりも優れていることを示す。
• モデルは依存木を入力とし、パーサー（例：MaltParser）を用いて事前に計算されたものと仮定する。モデルはパーサーをエンドツーエンドで学習しない。
• dgm-sバージョンは簡略化された依存構造を用いるが、本格的なdgmモデルはより豊富な構造的情報を活用する。両者とも、1トークンあたり考慮するエッジ数を削減することを目的として設計されている。

実験結果

リサーチクエスチョン

• RQ1 依存木からのグローバルな構造的情報（局所的ヘッド語特徴を超えて）は、NER性能の向上に有効に活用できるか？
• RQ2 依存木構造をNERモデルの学習および推論プロセスに明示的に統合する方法は何か？
• RQ3 連続する依存関係アーキにカバーされるスパン（構造的スパン）を活用することで、局所的特徴ベースの手法と比較して、より良いまたはより効率的なNERが達成できるか？
• RQ4 このような従属関係ガイド付きモデルの理論的および実験的時間計算量は、標準の半マルコフCRFと比較してどうなるか？
• RQ5 モデルの性能は、入力となる依存解析の品質にどれほど敏感か？

主な発見

• 提案されたdgmモデルは、ベンチマークデータセットにおいて、半マルコフCRFと同等のNER性能を達成しながら、著しく短い計算時間で実行される。
• 標準の半マルコフCRFと比較して、1イテレーションあたりの訓練時間がわずか47%にまで削減され、顕著な効率性の向上が示された。
• dgm-sバージョンは、線形チェーンCRFと同等の速度で動作するが、依然として構造的情報の恩恵を受けられる。
• モデルの性能は、入力となる依存解析の品質に極めて敏感である。誤った解析は、誤ったエンティティスパン検出を引き起こすことが図5で示された。
• 不完全な依存解析であっても、局所的特徴（例：大文字、品詞タグ）が強い場合には、エンティティを正しく認識できるが、依存構造が誤っており、スパン検出を誤導する場合には失敗する。
• 1トークンあたりのエッジ数は、半マルコフCRFの132に対して、dgm-sでは40、dgmでは61にまで削減され、直接的に高速な推論に寄与している。