[論文レビュー] Robust Lexical Features for Improved Neural Network Named-Entity Recognition

Abbas Ghaddar, Philippe Langlais|arXiv (Cornell University)|Jun 9, 2018

Topic Modeling被引用数 46

ひとこと要約

本論文は、Wikipedia経由でWiFiNEからオフラインで学習されたLS（Lexical Similarity）ベクトルを導入し、語彙特徴がBi-LSTM-CRF NERの性能を大幅に向上させ、OntoNotes 5.0で最先端、CoNLL-2003で競争力のある結果を達成することを示しています。

ABSTRACT

Neural network approaches to Named-Entity Recognition reduce the need for carefully hand-crafted features. While some features do remain in state-of-the-art systems, lexical features have been mostly discarded, with the exception of gazetteers. In this work, we show that this is unfair: lexical features are actually quite useful. We propose to embed words and entity types into a low-dimensional vector space we train from annotated data produced by distant supervision thanks to Wikipedia. From this, we compute - offline - a feature vector representing each word. When used with a vanilla recurrent neural network model, this representation yields substantial improvements. We establish a new state-of-the-art F1 score of 87.95 on ONTONOTES 5.0, while matching state-of-the-art performance with a F1 score of 91.73 on the over-studied CONLL-2003 dataset.

研究の動機と目的

• ニューラルNERシステムにおいて従来のガゼット表だけでは捉えきれない語彙情報を活用する必要性を動機づける。
• Wikipediaの注釈（WiFiNE）から学習させた語と120種類のエンティティタイプを結合空間に埋め込む、各語のoffline学習済み120次元Lexical Similarity (LS)特徴ベクトルを提案する。
• LS特徴をBi-LSTM-CRF NERモデルに統合し、標準ベンチマーク（CoNLL-2003とOntoNotes 5.0）で評価する。
• LS特徴が事前学習済み語彙埋め込みおよび文字/大文字化特徴と比較してどの程度補完的で頑健かを評価する。

提案手法

• WiFiNEで注釈されたWikipediaデータ（120エンティティタイプ）を用いた語とエンティティタイプの結合埋め込み空間を作成する。
• 各語について、語の埋め込みとエンティティタイプ埋め込みのコサイン類似度を各次元とする120次元LSベクトルを計算する。
• モデル使用前にLSベクトルを[-1,1]へMinMax正規化でスケールする。
• LS特徴をBi-LSTM-CRF NERモデルに、語の埋め込み、文字レベルエンコーディング、大文字化特徴とともに統合する。
• 単語成分と文字成分をSGD（モーメンタム0.9）で学習させ、ドロップアウトを適用し、開発データで早期停止を行う。

実験結果

リサーチクエスチョン

• RQ1 オフラインで学習されたLS語彙表現は、NERにおける標準埋め込みと補完的な情報を提供するか。
• RQ2 LSの性能は従来のガゼット機能やBi-LSTM-CRF NERモデルの文脈依存埋め込みと比べてどうか。
• RQ3 CoNLL-2003とOntoNotes 5.0の両データセットで、特に低頻度語に対するLS特徴の影響はどうなるか。
• RQ4 Wikipedia由来データで語が頻繁でない注釈を持つ場合、LS特徴は頑健か。

主な発見

• LSベクトルを素のBi-LSTM-CRFに追加するとNERの性能が大幅に向上する。
• OntoNotes 5.0では提案システムのF1が87.95で新たな最先端を達成。
• CoNLL-2003ではF1が91.73で最先端の性能と同等となる。
• LS表現は2値のガゼット特徴を上回り、標準埋め込みに対して補完情報を提供する。
• アブレーション実験により、LSはSskip埋め込みと競合し、LS+Sskipの組み合わせが最良の結果を与えることを示す。