[論文レビュー] Global Pointer: Novel Efficient Span-based Approach for Named Entity Recognition

Jianlin Su, Murtadha Ahmed+6 more|arXiv (Cornell University)|Aug 5, 2022

Topic Modeling被引用数 65

ひとこと要約

Global Pointer（GP）は、相対位置に対する乗法的アテンションを用いてスパン境界とエンティティ型を共同でスコアリングするスパンベースのNERモデルを導入し、パラメータを削減する効率的なバリアントとクラス不均衡に対処するユニバーサル損失を提供します。平坦なNERとネストされたNERのデータセット全体で、トレーニング/推論コストを削減しつつ最先端または競合的な結果を達成します。

ABSTRACT

Named entity recognition (NER) task aims at identifying entities from a piece of text that belong to predefined semantic types such as person, location, organization, etc. The state-of-the-art solutions for flat entities NER commonly suffer from capturing the fine-grained semantic information in underlying texts. The existing span-based approaches overcome this limitation, but the computation time is still a concern. In this work, we propose a novel span-based NER framework, namely Global Pointer (GP), that leverages the relative positions through a multiplicative attention mechanism. The ultimate goal is to enable a global view that considers the beginning and the end positions to predict the entity. To this end, we design two modules to identify the head and the tail of a given entity to enable the inconsistency between the training and inference processes. Moreover, we introduce a novel classification loss function to address the imbalance label problem. In terms of parameters, we introduce a simple but effective approximate method to reduce the training parameters. We extensively evaluate GP on various benchmark datasets. Our extensive experiments demonstrate that GP can outperform the existing solution. Moreover, the experimental results show the efficacy of the introduced loss function compared to softmax and entropy alternatives.

研究の動機と目的

• スパンの境界情報を捉え、ネストされたエンティティを扱える効果的なスパンベースNERの必要性を動機づける。
• 相対位置情報を乗法的アテンション機構で活用するGlobal Pointerを提案する。
• トレーニングと推論の整合性の欠如とラベル不均衡に対処するため、専用の損失とパラメータ削減を実現する効率的バリアントを提案する。
• GPの有効性と効率性を多様なベンチマークデータセットで実証する。

提案手法

• 事前学習済み言語モデル（例：BERT）からトークン表現を計算する。
• 開始位置と終了位置を用いて、エンティティタイプごとに2つのフィードフォワード投影でスパン表現を構築する。
• s_alpha(i,j) = q_{i,alpha}^T k_{j,alpha}でスパンをスコアリングし、ROPE相対位置エンコーディングを組み込む。
• 抽出パラメータを共有し、軽量な分類項を追加してパラメータ増加を抑えるEfficient Global Pointerを導入する。
• 円損失に触発されたユニバーサルマルチラベル損失を提案し、Nerにおけるクラス不均衡に対応する閾値ベースの簡略化を提供する。
• パフォーマンスを維持しつつパラメータ数を削減する近似的なパラメータ削減バリアントを提供する。

実験結果

リサーチクエスチョン

• RQ1 Global Pointerは強力なベースラインと比較して平坦データセットとネストデータセットのいずれでMacro-F1スコアを優越的に達成できるか。
• RQ2 相対位置エンコーディング（ROPE）を組み込むことでスパンベースNERの性能が向上するか。
• RQ3 提案されたユニバーサル不均衡損失はNERにおいて標準のsoftmax/エントロピー搲損失より効果的か。
• RQ4 Efficient Global Pointerは精度を損なうことなくトレーニングパラメータを削減できるか。
• RQ5 GPは多様なデータセットでトレーニングと推論の効率性の観点でどの程度優れているか。

主な発見

Method	The People’s daily	CLUENER	CMeEE	CONLL04	Genia
Bert-CRF	95.46	78.70	64.39	85.46	73.02
PFN Yan et al.	94.00	79.29	63.68	87.43	74.31
Global Pointer	95.51	79.44	65.98	88.57	74.64

• Global Pointerは評価データセット全体でベースラインより高いMacro-F1を達成する。
• GPはCLUENERやCMeEEのような難解なデータセットでBERT-CRFを大幅に上回る。
• Efficient Global Pointerは、特に難易度の高いデータセットで大幅にパラメータ数を減らしつつ競争力のある性能を維持する。
• ROPE相対位置エンコーディングと提案された不均衡損失のBCEに対する強力な改善を示す。
• GPは大規模データセットでBERT-CRFよりもトレーニングと推論の速度が速い。