[論文レビュー] CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark

Ningyu Zhang, Mosha Chen+21 more|arXiv (Cornell University)|Jun 15, 2021

Topic Modeling被引用数 24

ひとこと要約

tldr: CBLUE は、8 つのタスクを持つ最初の中国語生物医療系言語理解ベンチマークを導入し、11 の中国語事前学習モデルと人間を評価して、モデルと人間のパフォーマンス間に大きなギャップを浮き彫りにします。

ABSTRACT

Artificial Intelligence (AI), along with the recent progress in biomedical language understanding, is gradually changing medical practice. With the development of biomedical language understanding benchmarks, AI applications are widely used in the medical field. However, most benchmarks are limited to English, which makes it challenging to replicate many of the successes in English for other languages. To facilitate research in this direction, we collect real-world biomedical data and present the first Chinese Biomedical Language Understanding Evaluation (CBLUE) benchmark: a collection of natural language understanding tasks including named entity recognition, information extraction, clinical diagnosis normalization, single-sentence/sentence-pair classification, and an associated online platform for model evaluation, comparison, and analysis. To establish evaluation on these tasks, we report empirical results with the current 11 pre-trained Chinese models, and experimental results show that state-of-the-art neural models perform by far worse than the human ceiling. Our benchmark is released at \url{https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414&lang=en-us}.

研究の動機と目的

• 中国語生物医学言語理解評価（CBLUE）ベンチマークを、多様な生物医療タスクを横断して導入する。
• 業界の分布を反映するため、複数のソースから実世界の匿名化された中国語生物医療データを収集する。
• CBLUE タスクを評価・比較・分析するためのオンラインプラットフォームとベースラインを提供する。
• 中国語生物医学 NLP における言語的およびドメイン特有の課題を分析し、今後のモデル開発をガイドする。

提案手法

• トークンレベル、シークエンスレベル、文ペア分類を含む8つの生物医療 NLU タスクを組み立てた。
• 臨床試験、電子カルテ、医療フォーラム、教科書、検索エンジンのログから、プライバシー保護による匿名化を施してデータを収集した。
• ドメイン専門家による品質管理を含む注釈付けと、評価者間の一致度評価を行った。
• コミュニティ参加を促すためにリーダーボードと60 時間の無料 GPU を備えたオープンプラットフォームを公開した。
• 標準的なファインチューニングを用いた11 の公開中国語事前学習モデルを用いて、再現性のあるベースラインを提供した。
• ベースラインと結果を再現するための PyTorch でのコードを提供。

実験結果

リサーチクエスチョン

• RQ1 多様な中国語生物医療タスクに対して、現在の中国語事前学習モデルのパフォーマンスはどの程度か。
• RQ2 データソースと分布（長尾、非独立・同分布移動シナリオを含む）が、中国語の生物医療 NLP におけるモデルの一般化にどのように影響するか。
• RQ3 CBLUE タスク全体でモデルのパフォーマンスは人間のパフォーマンスにどれくらい近いか、最大のギャップはどこにあるか。
• RQ4 中国語生物医療タスクにおけるモデルのエラータイプと言語的課題は何か。

主な発見

モデル	CMeEE	CMeIE	CDN	CTC	STS	QIC	QTR	QQR	平均
BERT-base	69.1	-	-	-	-	-	-	-	69.1
BERT-wwm-ext-base	69.4	-	-	-	-	-	-	-	69.4
RoBERTa-large	69.6	-	-	-	-	-	-	-	69.6
RoBERTa-wwm-ext-base	69.3	-	-	-	-	-	-	-	69.3
RoBERTa-wwm-ext-large	70.0	-	-	-	-	-	-	-	70.0
ALBERT-tiny	61.1	-	-	-	-	-	-	-	61.1
ALBERT-xxlarge	66.1	-	-	-	-	-	-	-	66.1
ZEN	68.4	-	-	-	-	-	-	-	68.4
MacBERT-base	69.0	-	-	-	-	-	-	-	69.0
MacBERT-large	69.6	-	-	-	-	-	-	-	69.6
PCL-MedBERT	67.9	-	-	-	-	-	-	-	67.9
Human	77.1	-	-	-	-	-	-	-	77.1

• 最先端の中国語モデルは CBLUE タスクで人間のパフォーマンスにはるかに及ばない（人間の平均 77.1 に対し、モデルの平均はタスク間で約66-70）。
• より大きなモデルは一般に性能が高いが、利得はタスク依存であり、すべてのタスクで普遍的ではない。
• 全単語マスキングおよび特定の医療事前学習は、すべてのタスクで一様に性能を向上させるわけではなく、中国語生物医療 NLP のタスク固有の課題を示している。
• 転移学習シナリオ（非 i.i.d./CHIP-STS 風）は、トレーニング分布とテスト分布間の一般化ギャップを顕在化させる。
• ケーススタディは、曖昧さ、ドメイン知識の必要性、エンティティの重複、口語表現、注釈の問題に起因するエラーを示し、中国語生物医療文の言語的およびドメイン特有の複雑さを強調している。