[論文レビュー] Improving Tagging Consistency and Entity Coverage for Chemical Identification in Full-text Articles

Hyunjae Kim, Mujeen Sung+3 more|arXiv (Cornell University)|Nov 20, 2021

Topic Modeling参考文献 14被引用数 5

ひとこと要約

本稿では、化学識別におけるタグ付けの一貫性とエンティティカバレッジを向上させるために、辞書ベースの正規化とニューラルネーミングドエンティティ認識（NER）を組み合わせ、記事内多数決投票を適用するハイブリッドアプローチを提案する。NLM-ChemデータセットおよびBioCreative VIIチャレンジで評価された結果、最先端の性能を達成し、ベースラインモデルや80件以上の提出物と比較して顕著に高い再現率を示した。

ABSTRACT

This paper is a technical report on our system submitted to the chemical identification task of the BioCreative VII Track 2 challenge. The main feature of this challenge is that the data consists of full-text articles, while current datasets usually consist of only titles and abstracts. To effectively address the problem, we aim to improve tagging consistency and entity coverage using various methods such as majority voting within the same articles for named entity recognition (NER) and a hybrid approach that combines a dictionary and a neural model for normalization. In the experiments on the NLM-Chem dataset, we show that our methods improve models' performance, particularly in terms of recall. Finally, in the official evaluation of the challenge, our system was ranked 1st in NER by significantly outperforming the baseline model and more than 80 submissions from 16 teams.

研究の動機と目的

• 全文医療文献からの化学識別の際の低エンティティカバレッジおよび一貫性の欠如するタグ付けの課題に対処すること。
• タイトルとアブストラクトのみのデータセットよりも複雑な全文データに対してモデルのパフォーマンスを向上させること。
• 記事内の異なるセクション間でのタグ付けの一貫性を、記事内投票メカニズムを用いて向上させること。
• ニューラルモデルと化学辞書を組み合わせたハイブリッド正規化アプローチにより再現率を向上させること。
• BioCreative VIIトラック2における化学識別で最先端の結果を達成すること。

提案手法

• 事前に定義された化学辞書と深層ニューラルネットワークを組み合わせたハイブリッド正規化戦略を採用すること。
• 同じ記事の異なるセクション間での多数決投票を適用し、NER予測の不一致を解消すること。
• NLM-Chemデータセットで微調整されたシーケンスラベルリングモデル（例：BERTベース）を用いてネーミングドエンティティ認識を実施すること。
• 複数のモデルヘッドまたは推論実行の予測を集約することで、信頼性と一貫性を向上させること。
• 全文記事からの文脈的情報を活用し、複雑な文構造における化学エンティティの認識を強化すること。
• 公式のBioCreative VIIチャレンジへの適用前に、NLM-Chemデータセットでアプローチを検証すること。

実験結果

リサーチクエスチョン

• RQ1 同じ記事のセクション間で多数決投票を適用することで、化学エンティティ認識におけるタグ付けの一貫性は向上するか？
• RQ2 ニューラルモデルと化学辞書を組み合わせることで、エンティティカバレッジおよび再現率はどの程度向上するか？
• RQ3 ハイブリッドNERシステムは、純粋なニューラルモデルと比較して、全文医療文献上でのパフォーマンスはどの程度異なるか？
• RQ4 記事内一貫性メカニズムは、化学エンティティ認識における偽陰性を低減できるか？
• RQ5 全文の文脈は、希少または複雑な化学エンティティの認識をどの程度向上させるか？

主な発見

• 提案されたシステムは、BioCreative VIIトラック2チャレンジで最高順位を達成し、16チームから出場した80件以上の提出物を上回った。
• ハイブリッド正規化アプローチにより、ベースラインモデルと比較して再現率が顕著に向上し、特に希少または複雑な化学エンティティで顕著であった。
• 記事内のセクション間で多数決投票を適用することで、ラベル付けの不一致が低減され、全体のタグ付け信頼性が向上した。
• 全文記事におけるパフォーマンスが優れており、タイトルとアブストラクトのみのデータセットよりも困難な課題に対して優れた性能を示した。
• NLM-Chemデータセットにおいても最先端の結果を達成し、提案手法の有効性を確認した。
• ニューラルNERと辞書ベース正規化の組み合わせにより、エンティティカバレッジおよび一貫性に明確な改善が見られた。