[論文レビュー] Conceptualized Representation Learning for Chinese Biomedical Text Mining

Ningyu Zhang, Qianghuai Jia+4 more|arXiv (Cornell University)|Aug 25, 2020

Topic Modeling参考文献 11被引用数 55

ひとこと要約

MC-BERTは全体エンティティと全体スパンマスキングを導入し、中国語BERTの事前学習に生物医薬知識を注入し、ChineseBLUEベンチマークを公開し、中国語の生物医薬NLPタスクで最先端の成果を達成します。

ABSTRACT

Biomedical text mining is becoming increasingly important as the number of biomedical documents and web data rapidly grows. Recently, word representation models such as BERT has gained popularity among researchers. However, it is difficult to estimate their performance on datasets containing biomedical texts as the word distributions of general and biomedical corpora are quite different. Moreover, the medical domain has long-tail concepts and terminologies that are difficult to be learned via language models. For the Chinese biomedical text, it is more difficult due to its complex structure and the variety of phrase combinations. In this paper, we investigate how the recently introduced pre-trained language model BERT can be adapted for Chinese biomedical corpora and propose a novel conceptualized representation learning approach. We also release a new Chinese Biomedical Language Understanding Evaluation benchmark ( extbf{ChineseBLUE}). We examine the effectiveness of Chinese pre-trained models: BERT, BERT-wwm, RoBERTa, and our approach. Experimental results on the benchmark show that our approach could bring significant gain. We release the pre-trained model on GitHub: https://github.com/alibaba-research/ChineseBLUE.

研究の動機と目的

• ドメイン固有の語彙分布と長尾の専門用語のために、中国語の生物医学テキストへのBERT適用を動機づける。
• 知識を組み込んだ事前学習で表現へ生物医薬概念を注入するMC-BERTを提案する。
• 複数タスク向けの大規模な中国語生物医学言語理解評価ベンチマークであるChineseBLUEを公開する。

提案手法

• 生物中国語コーパス上でBERT-baseを起点としてMC-BERTを事前学習させる。
• 知識グラフとNERツールから取得した完全な生物医薬エンティティをマスクする全体エンティティマスキングを使用する。
• AutophraseとBiomedical Phraseリソースで抽出された細粒度の生物医薬フレーズを、規則とfastTextでフィルタリングしてカバーする全体スパンマスキングを使用する。
• 破局的忘却を避けるため、学習率 warmup を行わず、およそ1e-5の学習率で訓練する。
• 入力を文ベースの正例サンプルと文書間の負例サンプルに分割してNext Sentence Predictionを行う。
• 別個の知識埋め込みを追加するのではなく、語彙埋め込み学習を導くために文、フレーズ、エンティティを組み込む。

実験結果

リサーチクエスチョン

• RQ1 事前学習へドメイン特有の生物医薬知識を注入することで、中国語の生物医学NLPタスクの性能を改善できるか？
• RQ2 エンティティレベルおよびスパンレベルのマスキング戦略は、中国語の生物医学テキストの表現学習にどのような影響を与えるか？
• RQ3 知識を組み込んだ事前学習アプローチは、ChineseBLUEタスクにおいて標準的なBERT系と比較して改善をもたらすか？

主な発見

• MC-BERTはChineseBLUEのいくつかの中国語生物医薬タスクでBERT-baseを上回る。
• 全体エンティティマスキングまたは全体スパンマスキングを削除すると性能が低下することをアブレーションで示し、これら戦略の利点を浮き彫りにしている。
• RoBERTaおよび他の中国語プリトレーニング済みモデルと比較して、生物医薬事前学習を備えたMC-BERTは評価されたタスクで優れた性能を示す。