[論文レビュー] The Utility of General Domain Transfer Learning for Medical Language Tasks

Daniel Ranti, Katie Hanss+5 more|arXiv (Cornell University)|Feb 16, 2020

Topic Modeling被引用数 7

ひとこと要約

本研究では、一般ドメインおよび一般・医療ドメインの組み合わせ事前学習を用いて微調整されたBERTモデルを用いたトランスファーラーニングの有効性を評価している。一般ドメインのトランスファーラーニングが、サンプル重み付きF1スコア0.87を達成し、ロジスティック回帰およびLSTMベースラインを上回り、限られたラベル付きデータを有する医療NLPタスクにおいて実用的であることを示している。

ABSTRACT

The purpose of this study is to analyze the efficacy of transfer learning techniques and transformer-based models as applied to medical natural language processing (NLP) tasks, specifically radiological text classification. We used 1,977 labeled head CT reports, from a corpus of 96,303 total reports, to evaluate the efficacy of pretraining using general domain corpora and a combined general and medical domain corpus with a bidirectional representations from transformers (BERT) model for the purpose of radiological text classification. Model performance was benchmarked to a logistic regression using bag-of-words vectorization and a long short-term memory (LSTM) multi-label multi-class classification model, and compared to the published literature in medical text classification. The BERT models using either set of pretrained checkpoints outperformed the logistic regression model, achieving sample-weighted average F1-scores of 0.87 and 0.87 for the general domain model and the combined general and biomedical-domain model. General text transfer learning may be a viable technique to generate state-of-the-art results within medical NLP tasks on radiological corpora, outperforming other deep models such as LSTMs. The efficacy of pretraining and transformer-based models could serve to facilitate the creation of groundbreaking NLP models in the uniquely challenging data environment of medical text.

研究の動機と目的

• 一般ドメイン事前学習を用いたトランスファーラーニングの有効性を、医療NLPタスクにおいて評価すること。
• 一般ドメインと医療ドメインの両方の事前学習を用いて微調整されたBERTモデルを、一般ドメインのみの事前学習を用いたモデルと比較し、放射線学的テキスト分類において性能を評価すること。
• 限られたリソースの医療NLP環境において、ロジスティック回帰やLSTMといった従来のモデルと比較して、性能をベンチマークすること。
• 限られたラベル付きデータを有する医療テキスト分類タスクにおいて、一般ドメイントランスファーラーニングが最先端の結果を達成できるかどうかを評価すること。

提案手法

• 96,303件のレポートからなる大規模コーパス内の1,977件のラベル付き頭部CTレポートを対象に、双方向変換器ベースのBERTモデルを微調整した。
• 医療データセットの微調整の前に、一般ドメインコーパスまたは一般ドメインと生物医学ドメインの両方のコーパスでBERTモデルを事前学習した。
• 多クラス多ラベル分類の主な評価指標として、サンプル重み付き平均F1スコアを用いた。
• Bag-of-Wordsベースのロジスティック回帰モデルおよびLSTMベースの多ラベル分類モデルと、モデル性能を比較した。
• 標準的なBERT微調整手順（マスク言語モデルおよび次文予測）を、事前学習段階で適用した。
• 放射線学的レポートコーパスにおけるクラス不均衡を考慮し、バランスの取れた評価戦略を採用した。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータを有する医療NLPタスクにおいて、一般ドメイン事前学習が効果的に性能を向上させることができるか？
• RQ2 一般ドメイン事前学習で微調整されたBERTモデルは、一般ドメインと医療ドメインの両方で事前学習されたモデルと比べて、どのように性能を発揮するか？
• RQ3 放射線学的テキスト分類において、BERTを用いたトランスファーラーニングは、LSTMなどの従来のディープラーニングモデルを上回るか？
• RQ4 一般ドメイントランスファーラーニングは、どの程度の範囲で医療テキスト分類タスクにおいて最先端の結果を達成できるか？

主な発見

• 一般ドメインコーパスで事前学習されたBERTモデルは、放射線学的テキスト分類タスクにおいて、サンプル重み付き平均F1スコア0.87を達成した。
• 一般ドメインと生物医学ドメインの両方のコーパスで事前学習されたBERTモデルも、サンプル重み付き平均F1スコア0.87を達成し、同等の性能を示した。
• 両方のBERTモデルは、F1スコアが報告された研究より低い値を示したロジスティック回帰ベースラインを顕著に上回った。
• BERTモデルはLSTMベースのモデルよりも性能が優れており、この医療NLP環境において、変換器ベースのアーキテクチャの優位性を示した。
• 一般ドメイントランスファーラーニングは、リソースが限られた医療NLPタスクにおいて、最先端の結果を達成するための実用的で効果的なアプローチであることが判明した。
• 大規模な一般ドメインテキストで事前学習することで、専門的な医療テキスト分類タスクに知識を効果的に転送できることが示唆された。