[論文レビュー] Keyword-optimized Template Insertion for Clinical Information Extraction via Prompt-based Learning

Eugenia Alleva, Isotta Landi+4 more|arXiv (Cornell University)|Oct 31, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、臨床的に関連するキーワードの周囲にプロンプトテンプレートを戦略的に配置することで、ゼロショットおよびフェイントショットの臨床ノート分類を向上させるKeyword-Optimized Template Insertion (KOTI)を提案する。KOTIは、標準的なテンプレート挿入手法に比べてモデル性能を向上させ、とくに限られたまたは不均衡な訓練データの下でも有効である。キーワードの位置に基づく単一推論による切り出しにより、計算コストを抑えつつも、臨床的関連情報の保持を実現する。

ABSTRACT

Clinical note classification is a common clinical NLP task. However, annotated data-sets are scarse. Prompt-based learning has recently emerged as an effective method to adapt pre-trained models for text classification using only few training examples. A critical component of prompt design is the definition of the template (i.e. prompt text). The effect of template position, however, has been insufficiently investigated. This seems particularly important in the clinical setting, where task-relevant information is usually sparse in clinical notes. In this study we develop a keyword-optimized template insertion method (KOTI) and show how optimizing position can improve performance on several clinical tasks in a zero-shot and few-shot training setting.

研究の動機と目的

• 注釈付き臨床データが限られるノート分類の課題に対処するため、プロンプトベース学習を活用すること。
• 特にゼロショットおよびフェイントショット設定において、プロンプトベース学習におけるテンプレート位置の影響を調査すること。
• 入力の切り出し中に臨床的関連情報を保持する計算効率の良い手法を開発すること。
• バランスの取れたフェイントショット学習を通じて、レアまたは不均衡なクラスにおけるモデルの汎化性能を向上させること。
• キーワードに配慮したテンプレート挿入が、単純な切り出しや固定位置のプロンプト提示を上回ることを評価すること。

提案手法

• KOTIは、臨床ノート内の臨床的に関連するキーワードを特定し、それらの周囲にプロンプトテンプレートを挿入することで、情報保持を最大化する。
• この手法は、キーワードを含むテキストチャンクを優先するキーワードベースの切り出し戦略を用い、重要な臨床情報が保持されることを保証する。
• プロンプトテンプレートは、タスク固有の目的と[MASK]トークンを用いて手動で設計され、バーバライザーがモデル出力をクラスラベルにマッピングする。
• 臨床BERTおよびBioBERTモデルを用いて、ゼロショットおよびフェイントショット設定の両方でテンプレート挿入を評価する。
• 標準的なテンプレート挿入（STI-k、STI-s）およびフェイントショット学習におけるバランス付きとランダムなサンプリングとを比較する。
• HealthPromptのようなチャンクベース手法とは異なり、複数回の推論を回避するため、キーワード最適化された1つの入力チャンクを用いる。

実験結果

リサーチクエスチョン

• RQ1 臨床的に関連するキーワードの周囲にプロンプトテンプレートの位置を最適化することで、ゼロショットおよびフェイントショットの臨床ノート分類性能が向上するか？
• RQ2 キーワードベースの切り出しは、入力長制約下でモデル性能を保持する点で、標準的なテール切り出しと比べてどのように異なるか？
• RQ3 訓練データが限られたりクラスが不均衡であったりする状況でも、KOTIは性能を向上させることができるか？
• RQ4 KOTIの性能向上は、さまざまな臨床分類タスクにわたって一貫しているか？
• RQ5 テンプレート位置は臨床NLPにおいてタスク依存の影響を持つのか？また、KOTIはその影響を活用できるか？

主な発見

• KOTIは、ゼロショットおよびフェイントショット設定において、STI-kおよびSTI-sの両方を著しく上回るF1およびマクロF1スコアを達成しており、特にデータが少ない環境で最大の向上が見られた。
• 平均して、KOTIはゼロショット学習においてSTI-kを0.076 F1ポイント上回り、不均衡な訓練データを用いたフェイントショット状況でも一貫した改善を示した。
• キーワードベースの切り出しは、標準的なテール切り出しに比べてより多くの関連情報を保持しており、特に、単純な切り出しで停滞が見られたClinicalBERTにおいて顕著な性能向上が得られた。
• バランスの取れたサンプルで学習させることで、ランダムサンプリングに比べてモデル性能が向上し、KOTIはこの効果を強化し、より少ない例数で高速な収束と高い性能を実現した。
• KOTIによる性能向上はタスクに依存しており、キーワードが事前により正確に特定されたdysmenorrheaタスクで最大の改善が得られた。
• チャンクベース手法とは異なり、1ノートあたり1回の推論で済ませるため、KOTIは計算効率を維持しており、長大な臨床ノートに対してもスケーラブルである。