[論文レビュー] HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural Language Processing

Sonish Sivarajkumar, Yanshan Wang|PubMed|Mar 9, 2022

Topic Modeling参考文献 8被引用数 34

ひとこと要約

HealthPrompt は、臨床 NLP のためのプロンプトベースのゼロショット学習フレームワークを導入し、タスク定義をプロンプトで行うことで、トレーニングデータなしでも6つの事前学習言語モデルに渡って強力な性能を発揮できることを示しています。

ABSTRACT

Developing clinical natural language systems based on machine learning and deep learning is dependent on the availability of large-scale annotated clinical text datasets, most of which are time-consuming to create and not publicly available. The lack of such annotated datasets is the biggest bottleneck for the development of clinical NLP systems. Zero-Shot Learning (ZSL) refers to the use of deep learning models to classify instances from new classes of which no training data have been seen before. Prompt-based learning is an emerging ZSL technique in NLP where we define task-based templates for different tasks. In this study, we developed a novel prompt-based clinical NLP framework called HealthPrompt and applied the paradigm of prompt-based learning on clinical texts. In this technique, rather than fine-tuning a Pre-trained Language Model (PLM), the task definitions are tuned by defining a prompt template. We performed an in-depth analysis of HealthPrompt on six different PLMs in a no-training-data setting. Our experiments show that HealthPrompt could effectively capture the context of clinical texts and perform well for clinical NLP tasks without any training data.

研究の動機と目的

• 臨床 NLP の開発を妨げる大規模な注釈付き臨床テキストデータセットの不足に対処する。
• 臨床タスクにプロンプトベースの手法を適用してゼロショット学習を進化させる。
• ファインチューニングなしで複数の事前学習言語モデルにわたるプロンプトテンプレートの有効性を評価する。
• トレーニングデータなしで生のテキスト中の臨床コンテキストをキャプチャするプロンプトの能力を示す。

提案手法

• PLMs をファインチューニングする代わりに、タスク固有のプロンプトテンプレートを用いて臨床 NLP タスクを定義する。
• ゼロデータ設定で6つの事前学習言語モデルに対して HealthPrompt を評価する。
• 追加トレーニングなしでプロンプトが臨床コンテキストをどれだけうまく捉えるかを分析する。
• ゼロショット領域でプロンプトベース学習の性能を従来のファインチューニングと比較する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトベースの学習は、トレーニングデータなしで臨床 NLP タスクを効果的に処理できるか？
• RQ2 HealthPrompt のゼロショット設定で6つの異なる事前学習言語モデルはどのように性能を発揮するか？
• RQ3 ファインチューニングなしでプロンプトテンプレートは臨床テキストの文脈をどれだけ的確に捉えるか？
• RQ4 臨床 NLP におけるゼロショット・プロンプトベース手法の限界と可能性は何か？

主な発見

• プロンプトは臨床テキストの文脈を効果的に捉える。
• HealthPrompt はトレーニングデータなしで顕著に良い性能を達成する。
• ゼロショット能力を評価するために6つの事前学習言語モデルを分析した。
• 臨床 NLP タスクにおいて、データなし設定でもプロンプトベース学習は高い性能を発揮できる。