[論文レビュー] Self-Attention Gazetteer Embeddings for Named-Entity Recognition

Stanislav Peshterliev, Christophe Dupuy+1 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 27被引用数 4

ひとこと要約

この論文では、自己注意機構とマッチスパン符号化を用いて命名エンティティ認識（NER）性能を向上させる、新しい地名帳埋め込み手法GazSelfAttnを提案する。Bi-LSTMとCRFモデルにこれらのコンponentsを統合し、高品質なエンティティリストとしてWikidataを活用することで、CoNLL-03ではF1が0.52向上（92.34→92.86）、Ontonotes 5では0.21向上（89.11→89.32）し、HSCRFのような複雑なアーキテクチャを必要とせずに最先端の結果に達する。

ABSTRACT

Recent attempts to ingest external knowledge into neural models for named-entity recognition (NER) have exhibited mixed results. In this work, we present GazSelfAttn, a novel gazetteer embedding approach that uses self-attention and match span encoding to build enhanced gazetteer embeddings. In addition, we demonstrate how to build gazetteer resources from the open source Wikidata knowledge base. Evaluations on CoNLL-03 and Ontonotes 5 datasets, show F1 improvements over baseline model from 92.34 to 92.86 and 89.11 to 89.32 respectively, achieving performance comparable to large state-of-the-art models.

研究の動機と目的

• 自己注意機構とマッチスパン符号化を用いて地名帳埋め込みを強化することで、命名エンティティ認識（NER）の性能を向上させること。
• 人気度に基づいてフィルタリングすることで、Wikidataを活用したスケーラブルな高品質地名帳の構築手法を開発すること。
• 大規模言語モデル（例：ELMo）が既に使用されている状況でも、強化された地名帳埋め込みがNER性能を向上させることを示すこと。
• HSCRFのような複雑なアーキテクチャを回避し、標準的なシーケンスモデル（例：Bi-LSTM-CRF）におけるエンドツーエンドの地名帳埋め込み学習を可能にすること。
• アブレーションスタディを通じて、地名帳埋め込みモジュール内の各コンponentの貢献度を評価すること。

提案手法

• 複数の地名帳マッチング結果に対して自己注意機構を適用し、単一トークンおよび複数トークンのスパンを統合して地名帳埋め込みを生成する。
• 各マッチドエンティティの位置と種別を、入力シーケンス内に表現するためにマッチスパン符号化を適用する。
• 自己注意表現の学習可能な変換により最終的な地名帳埋め込みを計算し、出力次元を128次元とする。
• Wikidataのinstance_of関係を用いて地名帳を抽出し、サイトリンク数でフィルタリングすることで人気の高いエンティティを優先する。
• 埋め込みをBi-LSTMの入力に連結し、Adam最適化法とエアリー・ストッピングを用いてCRF層と共同で学習する。
• アブレーションスタディでは、自己注意機構、スパン符号化、または単一トークンマッチングを削除することで、各コンponentの個別貢献度を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構とマッチスパン符号化は、標準的なワンホット符号化や単純な埋め込み手法を超えて、NERのための地名帳埋め込みをどのように改善するか？
• RQ2 統合された表現で単一トークンと複数トークンのマッチングを組み合わせることで、NER性能にどのような影響を与えるか？
• RQ3 人気度でフィルタリングされたWikidata由来の地名帳は、NERのロバスト性と正確性をどの程度向上させるか？
• RQ4 HSCRFのような複雑なCRFや分類器ヘッドを必要とせず、大規模最先端モデルと同等の性能を達成できるか？
• RQ5 GazSelfAttnアーキテクチャのどのコンponent（例：自己注意機構、スパン符号化）が性能向上に最も寄与しているか？

主な発見

• ELMo埋め込みを併用した場合、CoNLL-03におけるF1は92.34から92.86に向上し、相対的に0.52ポイント向上した。
• Ontonotes 5ではF1が89.11から89.32に上昇し、データセットをまたいで一貫した改善が確認された。
• アブレーションスタディの結果、単一トークンマッチングの削除が最大の性能低下を引き起こし、その重要性が示された。
• 自己注意機構の削除により、CoNLL-03ではF1が0.21ポイント、Ontonotes 5では0.12ポイント低下したため、性能向上に顕著な貢献が確認された。
• マッチスパン符号化はCoNLL-03においてOntonotes 5よりもより顕著な影響を示した。これは、CoNLL-03に複数トークンエンティティの割合が高いことが理由と考えられる。
• Flairやcloze事前学習済み言語モデルを用いた大規模最先端モデルと同等の性能を達成したが、HSCRFのような複雑な構成要素を必要としていなかった。