[論文レビュー] FLERT: Document-Level Features for Named Entity Recognition

Stefan Schweter, Alan Akbik|arXiv (Cornell University)|Nov 13, 2020

Topic Modeling参考文献 22被引用数 15

ひとこと要約

この論文では、変換器ベースのモデルを用いて文書レベルの文脈を統合することで命名参照抽出（NER）を向上させる手法FLERTを提案する。各文に対して左・右それぞれ64語の固定ウィンドウを用いた文脈を組み込む。文書境界を強制的に適用して微調整することで、複数のCoNLL-03データセットで最先端の結果を達成し、ドイツ語ではF1スコアが最大1.81ポイント、オランダ語では1.5ポイント向上した。

ABSTRACT

Current state-of-the-art approaches for named entity recognition (NER) typically consider text at the sentence-level and thus do not model information that crosses sentence boundaries. However, the use of transformer-based models for NER offers natural options for capturing document-level features. In this paper, we perform a comparative evaluation of document-level features in the two standard NER architectures commonly considered in the literature, namely "fine-tuning" and "feature-based LSTM-CRF". We evaluate different hyperparameters for document-level features such as context window size and enforcing document-locality. We present experiments from which we derive recommendations for how to model document context and present new state-of-the-art scores on several CoNLL-03 benchmark datasets. Our approach is integrated into the Flair framework to facilitate reproduction of our experiments.

研究の動機と目的

• 文書レベルの特徴がNERに与える影響を、他のモデル部品とは独立して評価すること。
• 微調整と特徴ベースのLSTM-CRFという2つの代表的な変換器ベースのNERアーキテクチャを比較すること。
• 文書レベルの文脈の最適なハイパーパrameter、特にウィンドウサイズと文書境界の強制を特定すること。
• 文書レベルの文脈を活用することで、標準的なCoNLL-03 NERベンチマークで新たな最先端性能を達成すること。
• Flair NLPフレームワークに統合し、再現可能性とコミュニティ利用を促進すること。

提案手法

• タグ付け対象の各文に対して、左・右それぞれ64サブトークンの文脈を組み合わせ、文書に配慮した入力系列を形成する。
• 変換器エンコーダーの自己注意機構により、単語表現に文間の影響を及ぼすことで、文書レベルの文脈モデリングを可能にする。
• 2つのアーキテクチャを評価する：(1) 全体の変換器を微調整し、線形ヘッドを用いてトークンレベルの予測を行うもの、(2) 外部のLSTM-CRFモデルの特徴抽出器として変換器のみを用いるもの。
• 開発セットの性能を基に最良の設定を選定し、文脈ウィンドウサイズや文書境界の強制といったハイパーパrameterをアブレーションにより最適化する。
• 訓練中に文書レベルのマーカーで文脈を切り詰めることで、文書境界を強制的に適用し、性能向上を実現する。
• 最終的なモデルは、Flair NLPフレームワークに公開用に統合されたFLERT拡張機能として実装された。

実験結果

リサーチクエスチョン

• RQ1 文書レベルの文脈を組み込むことで、文レベルのモデリングと比較してNER性能にどのような影響を与えるか？
• RQ2 微調整と特徴ベースのLSTM-CRFという2つの標準的なNERアーキテクチャのうち、どちらが文書レベルの特徴によりより大きな利益を得るか？
• RQ3 NERにおける文書レベルの特徴の最適な文脈ウィンドウサイズは何か？
• RQ4 訓練時に文書境界を強制すると性能が向上するのか？その理由は何か？
• RQ5 文書レベルの特徴は、標準的なCoNLL-03 NERベンチマークで新たな最先端の結果をもたらすことができるか？

主な発見

• 文書レベルの特徴はNER性能を顕著に向上させ、全言語で文書レベルモデリングと比較して平均F1スコアが1.15ポイント向上した。
• 文書レベルの特徴を活用した全変換器の微調整は、特徴ベースのLSTM-CRFアプローチよりも平均F1スコアで約2ポイント高い性能を示した。
• 訓練時に文書境界を強制することで、全言語で性能が向上し、変換器は明示的な監視がなければ文書境界を内因的に尊重しないことが示された。
• 最適な文脈ウィンドウサイズは、微調整設定において全言語で両側64トークンであり、これが最高の性能をもたらした。
• FLERTはドイツ語およびオランダ語のCoNLL-03データセットで、過去の研究と比較してF1スコアをそれぞれ1.81ポイントおよび1.50ポイント向上させ、新たな最先端性能を達成した。
• 文書レベルの特徴による最大の性能向上は、ORG（組織）およびPER（人物）エンティティタイプで観察された。これは、文間の文脈がこれらのカテゴリに最も有益であることを示唆している。