[論文レビュー] Clinical Relation Extraction Using Transformer-based Models

Xi Yang, Zehao Yu+3 more|arXiv (Cornell University)|Jul 19, 2021

Topic Modeling参考文献 62被引用数 13

ひとこと要約

本研究では、2018年 MADE1.0 および n2c2 チャレンジの2つの公開データセットを用いて、BERT、RoBERTa、XLNetの臨床関係抽出に対する評価を実施した。RoBERTa-clinical RE は MADE1.0 で F1 スコア 0.8958 を達成し、XLNet-clinical は n2c2 で 0.9610 を達成した。二値分類が多クラス戦略を上回る性能を示し、バイオメディカル NLP の前進を図るためのオープンソースモデルをリリースした。

ABSTRACT

The newly emerged transformer technology has a tremendous impact on NLP research. In the general English domain, transformer-based models have achieved state-of-the-art performances on various NLP benchmarks. In the clinical domain, researchers also have investigated transformer models for clinical applications. The goal of this study is to systematically explore three widely used transformer-based models (i.e., BERT, RoBERTa, and XLNet) for clinical relation extraction and develop an open-source package with clinical pre-trained transformer-based models to facilitate information extraction in the clinical domain. We developed a series of clinical RE models based on three transformer architectures, namely BERT, RoBERTa, and XLNet. We evaluated these models using 2 publicly available datasets from 2018 MADE1.0 and 2018 n2c2 challenges. We compared two classification strategies (binary vs. multi-class classification) and investigated two approaches to generate candidate relations in different experimental settings. In this study, we compared three transformer-based (BERT, RoBERTa, and XLNet) models for relation extraction. We demonstrated that the RoBERTa-clinical RE model achieved the best performance on the 2018 MADE1.0 dataset with an F1-score of 0.8958. On the 2018 n2c2 dataset, the XLNet-clinical model achieved the best F1-score of 0.9610. Our results indicated that the binary classification strategy consistently outperformed the multi-class classification strategy for clinical relation extraction. Our methods and models are publicly available at https://github.com/uf-hobi-informatics-lab/ClinicalTransformerRelationExtraction. We believe this work will improve current practice on clinical relation extraction and other related NLP tasks in the biomedical domain.

研究の動機と目的

• 変換器ベースのモデル—BERT、RoBERTa、XLNet—を用いた臨床関係抽出の体系的評価を、バイオメディカル分野において実施すること。
• 臨床関係抽出における二値分類と多クラス分類戦略の比較。
• 異なる実験設定における2つの候補関係生成アプローチの調査。
• 今後の臨床 NLP 研究を支援するため、オープンソースの臨床事前学習済み変換器モデルの開発とリリース。
• ドメイン特化した事前学習を用いたトランスファー学習により、臨床関係抽出の最先端技術を向上させること。

提案手法

• ドメイン特化した事前学習を用いて、臨床関係抽出タスクに BERT、RoBERTa、XLNet の3つの変換器アーキテクチャを微調整した。
• 二値分類（関係あり vs. 関係なし）と多クラス分類（特定の関係タイプ）の2つの分類戦略を適用した。
• ルールベースとニューラルベースの2つの異なるアプローチを用いて、候補関係を生成した。
• 2018年 MADE1.0 および 2018年 n2c2 臨床関係抽出チャレンジの2つのベンチマークデータセットを評価に使用した。
• 標準的な NLP メトリクス—精度、再現率、F1 スコア—を用いてモデルの評価と比較を行った。
• 再現可能性および今後の研究を支援するため、トレーニング済みモデルとコードをオープンソースパッケージとしてリリースした。

実験結果

リサーチクエスチョン

• RQ1 BERT、RoBERTa、XLNet のうち、どの変換器ベースのモデルが臨床関係抽出タスクで最も優れた性能を示すか？
• RQ2 臨床関係抽出において、二値分類が多クラス分類を上回る性能を示すか？
• RQ3 異なる候補関係生成手法は、モデルのパフォーマンスにどのように影響するか？
• RQ4 ドメイン特化した事前学習済み変換器モデルは、一般ドメインモデルを上回る性能を臨床関係抽出で示せるか？
• RQ5 変換器ベースのアーキテクチャを用いた臨床関係抽出における最適な設定は何か？

主な発見

• RoBERTa-clinical RE モデルは、2018年 MADE1.0 データセットで最高の F1 スコア 0.8958 を達成した。
• XLNet-clinical モデルは、2018年 n2c2 データセットで最高のパフォーマンスを示し、F1 スコア 0.9610 を達成した。
• 二値分類は、両方のデータセットおよびモデルアーキテクチャにおいて一貫して多クラス分類を上回った。
• 提案されたモデルは、両方のベンチマークデータセットで最先端のパフォーマンスを示し、臨床 NLP における強い汎化能力を示した。
• モデルとコードのオープンソースリリースにより、臨床情報抽出分野における広範な採用と拡張が可能になった。
• 本研究は、臨床関係抽出におけるドメイン適応型事前学習の有効性を確認した。