[論文レビュー] Clinical Prompt Learning with Frozen Language Models

Niall Taylor, Yi Zhang+3 more|arXiv (Cornell University)|May 11, 2022

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本論文は、臨床意思決定タスクにおけるファrozen大規模言語モデルを用いたプロンプト学習を調査し、従来のファインチューニングと比較して同等または優れた性能を達成するとともに、トレーニング可能なパラメータ数とトレーニングデータ量を著しく削減できることを示している。このアプローチは、解釈可能性と効率性を向上させるために、混合テンプレートを用いたソフトプロンプトチューニングを採用しており、臨床現場における大規模モデルのファインチューニングの代替手段として、リソースが限られた環境でも実用的である。

ABSTRACT

Prompt learning is a new paradigm in the Natural Language Processing (NLP) field which has shown impressive performance on a number of natural language tasks with common benchmarking text datasets in full, few-shot, and zero-shot train-evaluation setups. Recently, it has even been observed that large but frozen pre-trained language models (PLMs) with prompt learning outperform smaller but fine-tuned models. However, as with many recent NLP trends, the performance of even the largest PLMs such as GPT-3 do not perform well on specialized domains (e.g. medical text), and the common practice to achieve State of the Art (SoTA) results still consists of pre-training and fine-tuning the PLMs on downstream tasks. The reliance on fine-tuning large PLMs is problematic in clinical settings where data is often held in non-GPU environments, and more resource efficient methods of training specialized domain models is crucial. We investigated the viability of prompt learning on clinically meaningful decision tasks and directly compared with more traditional fine-tuning methods. Results are partially in line with the prompt learning literature, with prompt learning able to match or improve on traditional fine-tuning with substantially fewer trainable parameters and requiring less training data. We argue that prompt learning therefore provides lower computational resource costs applicable to clinical settings, that can serve as an alternative to fine-tuning ever increasing in size PLMs. Complementary code to reproduce experiments presented in this work can be found at: https://github.com/NtaylorOX/Public_Clinical_Prompt.

研究の動機と目的

• ファrozen事前学習済み言語モデル（PLM）を用いたプロンプト学習が、臨床意思決定タスクにおいて実用的であるかを評価すること。
• 性能、パラメータ効率、データ効率の観点から、プロンプト学習と従来のファインチューニングを比較すること。
• リソースが限られた臨床環境において、プロンプト学習が計算的に効率的なファインチューニングの代替手段として機能するかを評価すること。
• 特に混合テンプレート設計を用いた場合に、医療NLPにおけるプロンプトベース手法の解釈可能性と頑健性を評価すること。
• 小規模でドメイン特化型のPLMにプロンプト学習を組み合わせることで、臨床応用において大規模で汎用的なモデルを上回る性能を達成できるかを検討すること。

提案手法

• 本研究では、モデルパラメータの完全なファインチューニングを回避するため、ファrozen BERTベースのPLM（BioBERTを含む）を採用している。
• ソフトプロンプトチューニングを適用しており、入力トークンの前に学習可能な埋め込みベクトルを挿入することで、モデルの予測を誘導している。
• 混合テンプレートを用い、固定されたプロンプト語とトレーニング可能なソフトプロンプトを組み合わせることで、解釈可能性と最適化の柔軟性のバランスを図っている。
• フレームワークは、MIMIC-IIIデータセットの4つの臨床タスク（ICD-9分類、滞在期間予測、死亡予測、臨床ノート分類）を対象として評価されている。
• Few-shot、ゼロショット、フルデータトレーニングの各設定において、プロンプト学習と従来のファインチューニングの性能を比較している。
• ハイパーパramータ探索を実施し、プロンプト学習とファインチューニングの最適化を図り、アブレーションスタディによりテンプレート設計と頑健性を評価している。

Figure 1 : Illustration of conventional fine-tuning method, with an option to freeze the PLM, shown in dotted line. Here [CLS] and [SEP] tokens are special tokens for BERT-based models that are added to the beginning and end of sequences.

実験結果

リサーチクエスチョン

• RQ1 ファrozen PLMを用いたプロンプト学習は、臨床NLPタスクにおいて、従来のファインチューニングと同等の性能を達成できるか？
• RQ2 臨床環境において、プロンプト学習はファインチューニングと比較して、トレーニング可能なパラメータ数とデータ要件を著しく削減できるか？
• RQ3 混合テンプレートの使用は、臨床意思決定タスクにおけるモデル性能と解釈性にどのような影響を与えるか？
• RQ4 リソースが限られた臨床シナリオにおいて、プロンプト学習は従来のファインチューニングよりもハイパーパramータの変化に対して頑健であるか？
• RQ5 小規模でドメイン特化型のPLMにプロンプト学習を組み合わせることで、臨床応用において大規模で汎用的なモデルを上回る性能を達成できるか？

主な発見

• ファrozen PLMを用いたプロンプト学習は、4つの臨床タスクすべてで従来のファインチューニングと同等またはそれを上回る性能を示し、トレーニング可能なパラメータ数が著しく少ない状態でも同様の結果を達成した。
• 本手法は、顕著に少ないトレーニングデータと計算リソースを要し、リソースが限られた臨床環境に適していることが示された。
• 混合テンプレートは、完全にソフトなプロンプトと同等の性能を達成しながらも、人間が読み取り可能なプロンプト構造を維持することで解釈性を保った。
• 特にFew-shot設定において、プロンプト学習はファインチューニングよりもハイパーパramータの変化に対してより頑健であることが示された。
• 生物医学特化型BERTモデル（BioBERT）を用いても、プロンプト学習はファインチューニングを上回る一貫した性能向上を示した。これはドメイン適応の利点があることを示唆している。
• 強力な結果が得られたものの、滞在期間予測および死亡予測タスクでは両フレームワークとも相対的に低い性能にとどまり、タスク固有の課題があることが示された。

Figure 2 : Illustration of manual template and verbalizer in prompt learning.