[論文レビュー] Language Models are Few-shot Learners for Prognostic Prediction

Zekai Chen, Mariann Micsinai Balan+1 more|arXiv (Cornell University)|Feb 24, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 9

ひとこと要約

本論文は、大規模言語モデルをファインチューニングまたはプロンプトを用いて臨床および分子の表形式データから免疫療法の予後を予測できることを示しており、少数ショット設定において複数の癌種で従来のMLベースラインよりも優れた、または競争力のある精度を達成します。 OS/PFS/BOR の比較にも触れている。

ABSTRACT

Clinical prediction is an essential task in the healthcare industry. However, the recent success of transformers, on which large language models are built, has not been extended to this domain. In this research, we explore the use of transformers and language models in prognostic prediction for immunotherapy using real-world patients' clinical data and molecular profiles. This paper investigates the potential of transformers to improve clinical prediction compared to conventional machine learning approaches and addresses the challenge of few-shot learning in predicting rare disease areas. The study benchmarks the efficacy of baselines and language models on prognostic prediction across multiple cancer types and investigates the impact of different pretrained language models under few-shot regimes. The results demonstrate significant improvements in accuracy and highlight the potential of NLP in clinical research to improve early detection and intervention for different diseases.

研究の動機と目的

• がん免疫療法における予後予測を動機づけ、トランスフォーマー ベースおよび言語モデルアプローチを探求することによりデータ不足に対処する。
• 現実世界データである MSK-IMPACT データに対して、トランスフォーマーが従来の機械学習より予後予測を改善するかを評価する。
• 少数ショット条件下で、異なる事前学習済み言語モデルと知識ソースが臨床予測に及ぼす影響を評価する。

提案手法

• 臨床的表形式特徴をLLMsが消費可能な自然言語トークン列へ直列化する。
• 凍結されたLLMを、学習可能なエンコーダと複数のエンドポイントを組み合わせたマルチタスク損失Lfを付加するエンドツーエンドのチューニング手法を活用する。
• さまざまなコーパスで事前学習されたドメイン特化型およびドメイン非特化型のLLMを用いて、少数ショット設定下での知識移転を評価する。
• 連続特徴のための連続埋め込み層を取り入れ、トランスフォーマ処理の前に埋め込みを連結する、TabTransformerベースの強化型モデル ClinTaT を採用する。
• AdamWとコサイン退火付き学習率ウォームアップで訓練する。OS、PFS、BORのマルチタスク損失を用い、BORにはCrossEntropy、OS/PFSにはCoxPHなどタスク固有の損失を適用する。
• 癌種横断で治療反応のAUCとOS/PFSのC-indexを用いて頑健性と一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 To what extent can transformer-based models improve clinical prognostic prediction over conventional machine learning with limited labeled data?
• RQ2 How do different pretrained language models, especially domain-specific versus domain-agnostic, influence prognostic prediction in few-shot settings?
• RQ3 Can LLM-based approaches produce accurate OS/PFS predictions prior to immunotherapy administration across cancer types?
• RQ4 Is a multi-endpoint, joint learning objective beneficial for cancer prognostic prediction with heterogeneous clinical outcomes?

主な発見

• ClinTaT は全サンプルを使用した場合に、治療反応予測のAUCで、ロジスティック回帰、ランダムフォレスト、XGBoostを上回り、癌種を跨いで従来のベースラインを大半の設定で上回る。
• Transforms can yield significant C-index improvements for OS and PFS at the pan-cancer level (ClinTaT C-index 0.724 vs XGBoost 0.688; p<0.05).
• 少数ショット設定では、ドメイン特化型事前学習モデル（特に PubMedBERT）が最大の改善をもたらし、非常に小さなサンプル（4-shot）で治療反応予測の絶対値で最大9.4％の改善を達成。
• LLM埋め込みの上に追加のトランスフォーマエンコーダを置くと、単一の線形微調整層よりも一貫して性能が向上する。
• PubMedBERT pretrained from scratch often yields the best average improvement across k-shot settings, outperforming other encoders in multiple configurations.
• In very few-shot regimes, LLM-based finetuning shows notable gains (e.g., 9.4% in 4-shot), indicating effective knowledge transfer to clinical tasks.