[論文レビュー] Transfer Learning for Scientific Data Chain Extraction in Small Chemical Corpus with BERT-CRF Model

Na Pang, Qian Li+2 more|arXiv (Cornell University)|May 13, 2019

Advanced Text Analysis Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、小規模で新規にアノテートされた化学コーパス上で微調整されたBERT-CRFモデルを提案し、化合物、溶媒、手法、結合、反応、pKa、pKa値の7つの主要エンティティとその関係を抽出することで、科学的データチェーン構築を可能にする。エンティティと関係の同時抽出アプローチは、Chemical Special Corpusにおいて最先端の性能を達成し、リソースが限られた化学NLP環境における転移学習の有効性を示している。

ABSTRACT

Computational chemistry develops fast in recent years due to the rapid growth and breakthroughs in AI. Thanks for the progress in natural language processing, researchers can extract more fine-grained knowledge in publications to stimulate the development in computational chemistry. While the works and corpora in chemical entity extraction have been restricted in the biomedicine or life science field instead of the chemistry field, we build a new corpus in chemical bond field annotated for 7 types of entities: compound, solvent, method, bond, reaction, pKa and pKa value. This paper presents a novel BERT-CRF model to build scientific chemical data chains by extracting 7 chemical entities and relations from publications. And we propose a joint model to extract the entities and relations simultaneously. Experimental results on our Chemical Special Corpus demonstrate that we achieve state-of-art and competitive NER performance.

研究の動機と目的

• 計算化学分野におけるアノテート済み化学コーパスの不足に取り組むために、化学的エンティティおよび関係を対象とした新しいドメイン特化型データセットを構築すること。
• 限られた化学テキストコーパスからの微細な科学的データを効果的に抽出できる転移学習アプローチを開発すること。
• 科学的データチェーン構築を支援するため、化学的エンティティとその関係を同時に抽出する統合モデルを構築すること。
• BERT-CRFを用いた小規模で専門性の高い化学コーパスにおいて、名前付きエンティティ認識（NER）で最先端の性能を示すこと。

提案手法

• 科学的データチェーン抽出を目的とした、化合物、溶媒、手法、結合、反応、pKa、pKa値の7種類のエンティティをアノテートした新しい化学コーパス、Chemical Special Corpusを構築した。
• BERT-CRFモデルをコーパス上で微調整し、BERTの文脈的埋め込みを活用して命名エンティティ認識のためのシーケンスラベル付けを実行した。
• エンティティとその関係を同時に抽出する統合モデルを設計し、エンドツーエンドのデータチェーン構築を改善した。
• BERTエンコーダーを事前学習済み重みで初期化し、小規模な化学コーパス上で微調整することで、一般化性能を向上させる転移学習を適用した。
• ラベルの依存関係をモデル化し、シーケンスラベル付けの正確性を向上させるために、BERTの上位にCRF層を適用した。
• 性能は、F1スコアなどの標準的なNER指標を用いて、Chemical Special Corpus上で評価された。

実験結果

リサーチクエスチョン

• RQ1 限られたアノテート済みデータを有する小規模で専門性の高い化学コーパスにおいて、BERT-CRFモデルが命名エンティティ認識で高い性能を達成できるか？
• RQ2 従来のモデルと比較して、化学分野における科学的データチェーン抽出にBERTを用いた転移学習はどの程度有効か？
• RQ3 エンティティと関係の同時抽出は、化学文献における科学的データチェーンの品質と整合性を向上させられるか？
• RQ4 ドメイン特化型の微調整が、化学NLPタスクにおけるBERTベースのモデルに及ぼす影響は何か？

主な発見

• 提案されたBERT-CRFモデルは、Chemical Special Corpusにおいて最先端の性能を達成し、既存の手法を上回る命名エンティティ認識性能を示した。
• リソースが限られた化学テキストにおいても、一般化性能が強く、小規模な化学コーパスにおける転移学習の有効性を裏付けた。
• エンティティと関係の同時抽出は、パイプラインアプローチと比較して、データチェーンの完全性と正確性を向上させた。
• 化合物、溶媒、手法などの主要エンティティのF1スコアが競争力のある水準に達しており、多様な化学的エンティティタイプにわたる堅牢な性能を示した。
• ドメイン特化型の化学テキストでBERTを微調整することで、エンティティ認識の品質が顕著に向上することを確認した。
• 本研究は、転移学習を活用した計算化学分野における科学的データチェーン抽出の新しいベンチマークを確立した。