[論文レビュー] Enhancing Label Consistency on Document-level Named Entity Recognition

Minbyul Jeong, Jaewoo Kang|arXiv (Cornell University)|Oct 24, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、文書レベルの生物医学的固有表現抽出（NER）におけるラベルの一貫性を向上させるため、修飾語（例：形容詞、前置詞）のラベルを精錬し、表現の蒸留を行うことで、主分類ヘッドを変更せずにラベル依存性を強化する手法ConNERを提案する。この手法により、ラベルの一貫性が低いデータセットではF1スコアが7.5–8.6%絶対値で向上し、主分類ヘッドを変更しないまま修飾語のラベル依存性を向上させることに成功した。

ABSTRACT

Named entity recognition (NER) is a fundamental part of extracting information from documents in biomedical applications. A notable advantage of NER is its consistency in extracting biomedical entities in a document context. Although existing document NER models show consistent predictions, they still do not meet our expectations. We investigated whether the adjectives and prepositions within an entity cause a low label consistency, which results in inconsistent predictions. In this paper, we present our method, ConNER, which enhances the label dependency of modifiers (e.g., adjectives and prepositions) to achieve higher label agreement. ConNER refines the draft labels of the modifiers to improve the output representations of biomedical entities. The effectiveness of our method is demonstrated on four popular biomedical NER datasets; in particular, its efficacy is proved on two datasets with 7.5-8.6% absolute improvements in the F1 score. We interpret that our ConNER method is effective on datasets that have intrinsically low label consistency. In the qualitative analysis, we demonstrate how our approach makes the NER model generate consistent predictions. Our code and resources are available at https://github.com/dmis-lab/ConNER/.

研究の動機と目的

• 文書レベルNERモデルにおける予測の一貫性の欠如、特に形容詞や前置詞などの修飾語が示す低いラベル一貫性の問題を解決すること。
• 生物医学的エンティティ内における修飾語のラベル依存性を向上させ、全体の予測一貫性を高めること。
• 主分類ヘッドを変更せずに修飾語のラベル表現を強化する手法を開発すること。
• 低リソースかつ低一貫性の生物医学的NERベンチマーク上でこの手法を評価し、多様なデータセットにわたる堅牢性を示すこと。

提案手法

• ConNERは、文脈に配慮した表現に基づいて、修飾語トークン（例：'primary'、'hereditary'）の下位予測を修正するラベル精錬プロセスを適用する。
• モデルが一貫したラベル表現を学習するよう促すために、蒸留損失関数（$L_{distill}$）を導入し、予測値と精錬済みラベルを一致させる。
• トレーニングおよびテストデータセットにおけるトークンレベルのラベル一致度を測るための整合性スコア（$\phi_{tCon}$）を用い、低一貫性のトークンに対して精錬を誘導する。
• バックボーンとして事前学習済みの生物医学的言語モデル（BioBERT、BioLM）を用い、主分類性能を維持するために精錬処理を修飾語トークンに限定する。
• ハイパーパramータ $\Gamma$ を用いてトレーニング中に精錬の強度を制御し、$\Gamma=0.3$ が全データセットで安定した性能を示した。
• 本手法はプラグアンドプレイ設計であり、主分類レイヤーに変更を加える必要がないため、既存の文書NERフレームワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 文書レベルNERモデルにおける不一致な予測の原因は何か、特に形容詞や前置詞などの修飾語において顕著な低ラベル一貫性が生じる背景は何か？
• RQ2 修飾語のラベル依存性を向上させることで、生物医学的NERにおける全体のラベル一貫性とF1スコアはどの程度向上するか？
• RQ3 提案されたラベル精錬および蒸留メカニズムは、低一貫性のデータセットにおける予測一貫性にどのように影響を与えるか？
• RQ4 ConNERは密度外のトークンやラベル一致度が低いサブトークンに一般化できるか？
• RQ5 ハイパーパramータ $\Gamma$ は、ラベル精錬プロセスの安定性と性能にどのように影響を与えるか？

主な発見

• ConNERは、ラベルの一貫性が低い2つの生物医学的NERデータセット（NCBI-diseaseおよびGellus）で、F1スコアが7.5–8.6%絶対値で向上し、内在的なラベル不一致が顕著なデータセットにおいて強力な有効性を示した。
• NCBI-diseaseデータセットでは、'primary'トークンの整合性スコア（$\phi_{tCon}$）が、BioLMの0%からテストセットで100%に上昇し、不一致な予測の効果的な是正が行われたことが示された。
• 'surgical'トークンに関しては、トレーニング時における整合性スコアが92.3%と高かったが、ConNERは予測の一貫性を維持した。これは、頻度の高い修飾語のラベル依存性を効果的に保持できることを確認した。
• 5つの異なるランダムシードで安定した性能を示し、$\Gamma=0.3$ が全ベンチマークで一貫した向上をもたらした。初期化に依存しない堅牢性が裏付けられた。
• ConNERは'rectal carcinoma'を一貫したエンティティとして正しく予測したが、ベースラインモデルは'rectal'を1回目はエンティティ、2回目は非エンティティとして不一致に分類していた。
• 改善は見られたが、'mesorectum' や 'margin' といった密度外のトークン、および整合性スコアが0.62と低いサブトークン 'lymph' に対しては、ConNERは依然として困難を示し、希少または一貫性が低いサブトークンへの一般化能力に限界があることが示された。