[論文レビュー] Jointly Extracting Interventions, Outcomes, and Findings from RCT Reports with LLMs

Somin Wadhwa, Jay DeYoung+3 more|arXiv (Cornell University)|May 5, 2023

Topic Modeling参考文献 38被引用数 9

ひとこと要約

この論文は指示調整済みのLLMを用いて、ICO（介入、比較、アウトカム）と推定所見をRCT要約から共同抽出するエンドツーエンドの条件付き生成を実現し、従来手法よりも最先端の改善を達成し、検索可能な構造化証拠データベースを公開します。

ABSTRACT

Results from Randomized Controlled Trials (RCTs) establish the comparative effectiveness of interventions, and are in turn critical inputs for evidence-based care. However, results from RCTs are presented in (often unstructured) natural language articles describing the design, execution, and outcomes of trials; clinicians must manually extract findings pertaining to interventions and outcomes of interest from such articles. This onerous manual process has motivated work on (semi-)automating extraction of structured evidence from trial reports. In this work we propose and evaluate a text-to-text model built on instruction-tuned Large Language Models (LLMs) to jointly extract Interventions, Outcomes, and Comparators (ICO elements) from clinical abstracts, and infer the associated results reported. Manual (expert) and automated evaluations indicate that framing evidence extraction as a conditional generation task and fine-tuning LLMs for this purpose realizes considerable ($\sim$20 point absolute F1 score) gains over the previous SOTA. We perform ablations and error analyses to assess aspects that contribute to model performance, and to highlight potential directions for further improvements. We apply our model to a collection of published RCTs through mid-2022, and release a searchable database of structured findings: http://ico-relations.ebm-nlp.com

研究の動機と目的

• 非構造化されたRCT報告から構造化証拠抽出の必要性を動機づけ、エビデンスベース医療とAI支援臨床決定をサポートする。
• エンドツーエンドの指示調整済みLLMアプローチを提案し、RCT要約からICOトリプレット、支持証拠、推論ラベルを共同抽出する。
• 従来のSOTA手法と比較して性能を評価し、モデルの成功要因と誤りパターンを分析する。

提案手法

• 証拠抽出を、線形化されたICOタプル（Intervention, Comparator, Outcome, Evidence, Inference label）に対する条件付きテキスト生成タスクとして定義する。
• 教師付き強制勾配を用いて指示調整済みLLM（Flan-T5）をファインチューニングし、要約からエンドツーエンドのICOトリプレットと推論を生成させる。
• Evidence Inferenceデータセットの要約のみのサブセットで訓練し、1件あたり5つのターゲット：ICOトリプレット、方向ラベル（有意な増加/減少、効果なし）、および証拠断片。
• 抽象的出力のため、自動評価指標と専門家による人間評価の両方で評価し、医師によるマニュアル注釈研究を含む。
• 抽出された構造化証拠上でのプロトタイプ検索インターフェースを提供し、モデルウェイトとデータセット由来の所見を公開する。

Figure 1: We fine-tune a Large Language Model (LLM) to map from free-text descriptions of clinical trials to structured representations of findings.

実験結果

リサーチクエスチョン

• RQ1 指示調整済みLLMはRCT要約からICOトリプレットを共同抽出し、報告されたアウトカム方向を推論できるか。
• RQ2 エンドツーエンド生成は医療証拠推論のためのパイプラインまたはマルチステージ手法よりも性能が上か。
• RQ3 抽出ターゲットに証拠スパンを含めることが推論精度と抽出性能に与える影響はどの程度か。
• RQ4 モデルは大量のRCTコーパスに対してどれほど一般化し、非網羅的な参照にどう対応するか。

主な発見

• 指示調整済みFlan-T5によるエンドツーエンド生成は従来のSOTAに対して大幅な改善を達成し、エンドツーエンドのICO抽出でF1が約20ポイントの絶対改善。
• ICO-トリプレットレベルの評価は、より大きく指示調整済みモデル（例：Flan-T5-large）で高いF1を示し、精度と再現率が向上。
• 人間専門家の評価では生成されたタプルの関連性と正確さに高い一致が見られ（Fleiss kappa = 0.77）、専門家の関連性同意は約92.4%の頻度。
• 証拠スパンをターゲットとして含めることは推論タスクを大幅に支持し、共同抽出性能を改善。
• プロトタイプの検索インターフェースは、大規模RCTコーパス（Trialstreamerサブセット）から構造化証拠をSQLベースで検索可能とする実用的有用性を示す。

Figure 2: We propose instructional fine-tuning a large language model (top) using standard supervision to elicit evidence within generated ICO tuples. This approach yields substantial improvements over existing joint extraction approaches (bottom) where the entire task is decomposed into different i