[論文レビュー] Named entity recognition in chemical patents using ensemble of contextual language models

Jenny Copara, Nona Naderi+3 more|arXiv (Cornell University)|Jul 24, 2020

Biomedical Text Mining and Ontologies被引用数 11

ひとこと要約

本論文は、化学特許における命名参照認識（NER）を向上させるために、文脈を考慮した言語モデルのアンサンブル—特にBERTベースのアーキテクチャ—を提案する。複数のモデルの予測を多数決投票によって統合することで、ChEMU NERベンチマーク上で92.30%の正確なF1スコアと96.24%のリラックスF1スコアを達成し、個々のモデルの制限を効果的に緩和することが示された。

ABSTRACT

Chemical patent documents describe a broad range of applications holding key reaction and compound information, such as chemical structure, reaction formulas, and molecular properties. These informational entities should be first identified in text passages to be utilized in downstream tasks. Text mining provides means to extract relevant information from chemical patents through information extraction techniques. As part of the Information Extraction task of the Cheminformatics Elsevier Melbourne University challenge, in this work we study the effectiveness of contextualized language models to extract reaction information in chemical patents. We assess transformer architectures trained on a generic and specialised corpora to propose a new ensemble model. Our best model, based on a majority ensemble approach, achieves an exact F1-score of 92.30% and a relaxed F1-score of 96.24%. The results show that ensemble of contextualized language models can provide an effective method to extract information from chemical patents.

研究の動機と目的

• 特許の知的財産を保護するため、しばしば難読化されている複雑なテキストにおける化学特許の命名参照認識（NER）を改善すること。
• ドメイン特化の事前学習を行わない状態で、文脈を考慮した言語モデル—特にBERTの変種—が化学特許NERにどの程度有効であるかを評価すること。
• 複数のトランスフォーマー基盤モデルをアンサンブルすることで、個々のモデルや従来のCRFベースラインを上回る性能が得られるかどうかを調査すること。
• 特に反応試薬、触媒、反応生成物など、長スパンのエンティティについての誤りパターンを分析すること。

提案手法

• ChEMU NERデータセット上で、5つのBERTベースのモデル—bert-base-cased、bert-base-uncased、bert-large-cased、bert-large-uncased、およびChemBERTa—を微調整し、トークン分類タスクに用いた。
• 全5つのモデルの予測を多数決投票戦略で統合することで、モデルの堅牢性を向上させ、個々のモデルの誤りを低減した。
• 各エンティティクラスのラベル付き学習セットに対して、標準的なBERTのトークン化および微調整手順を適用し、交差エントロピー損失を用いた。
• 正確なF1スコアとリラックスF1スコアの両方を用いてモデルの性能を評価した。後者は予測スパンと正解スパンの部分的重複を許容する。
• 開発セットを用いた誤り分析により、特に長スパンまたは一貫性のないアノテーションがなされたエンティティの失敗モードを特定した。
• 性能ベンチマークを確立するために、CRFベースラインおよびコンペティションベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの文脈的言語モデルのアンサンブルは、化学特許NERにおいて個々のモデルを上回る性能を発揮できるか？
• RQ2 ドメイン特化の事前学習を行わない一般ドメインのBERTモデルは、特許における化学的エンティティを認識するのに対し、どの程度有効か？
• RQ3 化学特許のNERにおいて最も一般的な誤りタイプは何か、特に長スパンまたは複数語のエンティティに関しては？
• RQ4 多様なBERTバリアントを用いた多数決投票は、単一モデルの予測と比較して誤り率を低減できるか？
• RQ5 なぜ、BERT-largeのような大規模モデルが、このNERタスクにおいて一貫して小さなモデルを上回らないのか？

主な発見

• アンサンブルモデルは、正確なF1スコア92.30%、リラックスF1スコア96.24%を達成し、CRFベースライン（80.56%）およびコンペティションベースライン（88.93%）を顕著に上回った。
• 収率関連のエンティティに関しては特に優れた性能を示し、yield_percentのF1スコアが99.74%に達した。これは、明確に定義された用語に対して高い正確性と再現率を示している。
• 誤り分析の結果、78.8%のスパン誤りは、予測が長すぎたものであり、例えば「水性の」や「濃縮された」などの修飾語を反応試薬名に含んでいた。
• 最も頻出する誤りは、starting_materialとreagent_catalystの間、およびreaction_productとother_compoundの間の混同であり、化学テキストにおける意味的重複が原因と考えられる。
• 長スパンのエンティティ—特にreagent_catalyst、reaction_product、starting_material—は誤りの原因になりやすく、一部のモデル（例：bert-large-uncased）ではスパンのいずれのトークンに対しても検出できなかった。
• アンサンブルモデルは、個々のBERTモデルと比較して長スパンの誤りを低減した。これは、多様な予測を統合することで、サブワードトークン化の制限が緩和されたことを示唆している。