[論文レビュー] An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition

Hang Yan, Yu Sun+2 more|arXiv (Cornell University)|Aug 9, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文は、Biaffineデコーダーによって生成されるスパンスコア行列の空間的相関をモデル化するため、畳み込みニューラルネットワーク（CNN）を適用することで、ネストされた名前付きエンティティ認識（nested NER）のシンプルだが効果的なベースラインを提案する。その単純さにもかかわらず、ACE2004、ACE2005、Geniaの3つのベンチマークデータセットにおいて、ネストされたエンティティのリCALLを顕著に向上させることで、最先端または競争力のある性能を達成している。また、今後の研究における公平な比較を保証するため、標準化された前処理スクリプトも公開している。

ABSTRACT

Named entity recognition (NER) is the task to detect and classify the entity spans in the text. When entity spans overlap between each other, this problem is named as nested NER. Span-based methods have been widely used to tackle the nested NER. Most of these methods will get a score $n imes n$ matrix, where $n$ means the length of sentence, and each entry corresponds to a span. However, previous work ignores spatial relations in the score matrix. In this paper, we propose using Convolutional Neural Network (CNN) to model these spatial relations in the score matrix. Despite being simple, experiments in three commonly used nested NER datasets show that our model surpasses several recently proposed methods with the same pre-trained encoders. Further analysis shows that using CNN can help the model find more nested entities. Besides, we found that different papers used different sentence tokenizations for the three nested NER datasets, which will influence the comparison. Thus, we release a pre-processing script to facilitate future comparison.

研究の動機と目的

• 既存のスパンベースのネストされたNER手法が、隣接するスパン間の空間的相関を無視するという限界を是正すること。
• スコア行列内の隣接スパン間の局所的相互作用を明示的にモデル化することで、ネストされたNERの性能を向上させること。
• 過去の研究において性能比較に影響を及げる、特に文のトークン化に関する不整合を是正すること。
• 最小限の複雑さで、より複雑な最近のモデルを上回る、強力で再現性のあるベースラインを提供すること。

提案手法

• 本手法は、各スパンの開始トークンと終了トークンによって定義されるスコア行列を生成するためのBiaffineデコーダーを用いる。
• 得られたn×nのスコア行列（nは文の長さ）を特徴マップとして扱い、2次元畳み込みニューラルネットワーク（CNN）に供給することで、スパン間の局所的空間的依存関係を捉える。
• CNNはスパンスコア行列全体に適用され、特に階層的またはネストされた関係にあるスパン間の相互作用をモデル化する。
• スパン分類のためのクロスエントロピー損失を用いて、エンドツーエンドで学習され、推論はしきい値処理または非最大抑制を用いて実行される。
• 本研究では、ACE2004、ACE2005、Geniaデータセットの間で文のトークン化を標準化するための前処理スクリプトを公開している。
• 本手法は、過去の研究と同一の事前学習済みBERTベースのエンコーダーを用いて評価されており、公平な比較を保証している。

実験結果

リサーチクエスチョン

• RQ1 スパンスコア行列内の隣接スパン間の空間的相関をモデル化することで、ネストされたNERの性能向上が達成できるか？
• RQ2 スパンスコア行列にシンプルなCNNアプローチを適用することで、最近のより複雑なアーキテクチャを上回る性能が、標準的なネストされたNERベンチマークで達成できるか？
• RQ3 データセット間での文のトークン化の違いが、ネストされたNERにおける性能比較にどの程度影響を及えるか？
• RQ4 提案手法が、ネストされたエンティティと平坦なエンティティの両方の検出をどのように向上させるか？
• RQ5 標準化された前処理パイプラインは、ネストされたNER研究におけるばらつきを低減し、再現性を向上させることができるか？

主な発見

• 提案されたCNNベースの手法は、ACE2004、ACE2005、Geniaデータセットにおいて、同じ事前学習済みエンコーダーを用いた複数の最近のモデルを上回るSOTAまたは競争力のある性能を達成している。
• Geniaデータセットでは、F1スコアが80.33 ± 0.13を達成し、同じデータで学習したベースラインのW2NER（81.58 ± 0.61）やTriaffine（81.23）を上回っている。
• CNNを含まないモデル（w.o. CNN）は、すべてのデータセットでネストされたエンティティのリCALL（NER）が低くなることが示され、CNNがネストされたエンティティの検出を向上させていることが裏付けられている。
• ACE2004では、ネストされたエンティティのリCALL（NER）が、CNNなしの際の89.4 ± 0.8から、CNNありの88.4 ± 0.6に向上し、最良ケースで1.0ポイントの改善が得られている。
• 最も顕著な改善はGeniaデータセットで観察され、ネストされたエンティティのリCALLが10.7ポイント上昇（72.7 ± 1.2 から 83.4 ± 1.6 に）した。
• 著者らは、過去の研究における文のトークン化の不整合が性能の差異を引き起こすことを実証し、本研究の前処理スクリプトがこれらの不整合を解消していることを示している。