[論文レビュー] RadAdapt: Radiology Report Summarization via Lightweight Domain Adaptation of Large Language Models

Dave Van Veen, Cara Van Uden+10 more|arXiv (Cornell University)|May 2, 2023

Topic Modeling被引用数 6

ひとこと要約

RadAdaptは、臨床テキストで事前学習されたLLMをLoRAで微調整することで、パラメータの0.32%しか更新しない軽量なドメイン適応フレームワークを提案し、最先端の性能を達成した。この手法は、完全微調整やプロンプトベースの手法を上回り、臨床的事前学習とパラメータ効率の良い微調整の組み合わせがRRSにおいて最適であることを示している。

ABSTRACT

We systematically investigate lightweight strategies to adapt large language models (LLMs) for the task of radiology report summarization (RRS). Specifically, we focus on domain adaptation via pretraining (on natural language, biomedical text, or clinical text) and via discrete prompting or parameter-efficient fine-tuning. Our results consistently achieve best performance by maximally adapting to the task via pretraining on clinical text and fine-tuning on RRS examples. Importantly, this method fine-tunes a mere 0.32% of parameters throughout the model, in contrast to end-to-end fine-tuning (100% of parameters). Additionally, we study the effect of in-context examples and out-of-distribution (OOD) training before concluding with a radiologist reader study and qualitative analysis. Our findings highlight the importance of domain adaptation in RRS and provide valuable insights toward developing effective natural language processing solutions for clinical tasks.

研究の動機と目的

• 大規模言語モデル（LLM）を用いたレントゲンレポート要約（RRS）における軽量なドメイン適応戦略を調査すること。
• 自然言語、バイオメディカル、臨床テキストの事前学習がRRS性能に与える影響を評価すること。
• 離散的プロンプト、パラメータ効率の良い微調整（LoRA）、エンドツーエンドの微調整の有効性と効率性を比較すること。
• RRSにおける分布外（OOD）の画像モodalitiesおよび解剖領域への一般化を評価すること。
• 放射線科医によるリーダースタディと定性的分析を通じて、モデル性能を検証すること。

提案手法

• MIMIC-IIIなどの臨床テキストでLLMを事前学習し、レントゲンレポートとのドメイン整合性を向上させること。
• RRSデータに対してLoRA（低ランク適応）を適用し、モデルパラメータの0.32%のみを更新するパラメータ効率の良い微調整を実施すること。
• 例示例の数を変化させたコンテキスト内少数ショットプロンプトを用い、プロンプト工学の影響を評価すること。
• 特に異なる画像モダリティおよび解剖的領域を対象とした、分布外（OOD）データにおけるモデル一般化性能を評価すること。
• 放射線科医によるリーダースタディを実施し、生成された印象の正確性、一貫性、臨床的関連性を評価すること。
• モデルアーキテクチャ、プロンプト戦略、適応手法のアブレーションスタディを実施し、性能要因を特定すること。

Figure 1: Diagram of experiments. We evaluate every combination of pretrained LLM (top) and lightweight adaptation method (bottom). Moving from left to right, the models and methods become increasingly adapted to the downstream clinical task of RRS.

実験結果

リサーチクエスチョン

• RQ1 一般言語またはバイオメディカルな事前学習と比較して、臨床テキストでの事前学習がRRS性能を顕著に向上させるか？
• RQ2 パラメータ効率の良い微調整（LoRA）は、完全微調整と比較してRRSにおいて性能とパラメータ効率の面で優れているか？
• RQ3 コンテキスト内少数ショットプロンプトの影響は、さまざまなLLMにおけるRRS出力品質にどのように現れるか？
• RQ4 適応されたモデルは、分布外の画像モダリティおよび解剖領域にどの程度一般化できるか？
• RQ5 放射線科医は、LLMが生成したレントゲン印象の臨床的関連性、正確性、一貫性をどのように評価するか？

主な発見

• 最も優れた性能を示した手法は、臨床テキスト事前学習（Clin-T5）とLoRA微調整を組み合わせたもので、RRSベンチマークで最先端の性能を達成した。
• LoRAによるパラメータの0.32%の微調整が、100%のパラメータを微調整する完全微調整を上回り、計算コストを著しく削減した。
• コンテキスト内例の数を増やすことで、評価されたすべてのモデルでRRS性能が一貫して向上し、プロンプト工学の価値が浮き彫りになった。
• 一般化において、解剖的多様性はモダリティよりも重要である。多様な解剖領域で学習したモデルは、OODケースによりよく一般化した。
• 放射線科医によるリーダースタディでは、正確性、一貫性、臨床的関連性のスコアが高く出たが、まれに幻覚や基準レポートとの不一致が観察された。

Figure 2: Example radiology report. Left : Findings and reference impression. Right : Generated impressions with various methods for discrete prompting (top) and parameter-efficient fine-tuning (bottom), all using the Clin-T5-Large model. Color annotations were provided by a radiologist who speciali