[논문 리뷰] Jointly Extracting Interventions, Outcomes, and Findings from RCT Reports with LLMs

Somin Wadhwa, Jay DeYoung외 3명|arXiv (Cornell University)|2023. 05. 05.

Topic Modeling참고 문헌 38인용 수 9

한 줄 요약

이 논문은 지시 기반 조정 LLM을 사용하여 RCT 초록에서 ICO(중재, 비교, 결과)와 추론 결과를 엔드-투-엔드 조건부 생성으로 공동 추출하며, 이전 방법 대비 최첨단 성과를 거두고 구조화된 증거 데이터베이스를 검색 가능하게 공개합니다.

ABSTRACT

Results from Randomized Controlled Trials (RCTs) establish the comparative effectiveness of interventions, and are in turn critical inputs for evidence-based care. However, results from RCTs are presented in (often unstructured) natural language articles describing the design, execution, and outcomes of trials; clinicians must manually extract findings pertaining to interventions and outcomes of interest from such articles. This onerous manual process has motivated work on (semi-)automating extraction of structured evidence from trial reports. In this work we propose and evaluate a text-to-text model built on instruction-tuned Large Language Models (LLMs) to jointly extract Interventions, Outcomes, and Comparators (ICO elements) from clinical abstracts, and infer the associated results reported. Manual (expert) and automated evaluations indicate that framing evidence extraction as a conditional generation task and fine-tuning LLMs for this purpose realizes considerable ($\sim$20 point absolute F1 score) gains over the previous SOTA. We perform ablations and error analyses to assess aspects that contribute to model performance, and to highlight potential directions for further improvements. We apply our model to a collection of published RCTs through mid-2022, and release a searchable database of structured findings: http://ico-relations.ebm-nlp.com

연구 동기 및 목표

• 비체계적 RCT 보고에서 체계적 증거 추출의 필요성을 제시하여 근거기반 의학 및 AI 보조 임상 의사결정을 지원한다.
• RCT 초록에서 ICO 쌍, 지원 증거, 추론 레이블을 공동으로 추출하는 엔드-투-엔드의 지시 기반 LLM 접근법을 제안한다.
• 이전 SOTA 방법과 비교하여 성능을 평가하고 모델 성공의 원인과 오류 패턴을 분석한다.

제안 방법

• 증거 추출을 선형화된 ICO 튜플(Intervention, Comparator, Outcome, Evidence, Inference label)을 대상으로 한 조건부 텍스트 대 텍스트 생성 작업으로 프레임화한다.
• 교사 강제 학습(teacher forcing)으로 지시 기반 LLM(Flan-T5)을 미세조정하여 초록에서 엔드-투-엔드 ICO 트리플과 그 추론을 생성한다.
• Evidence Inference 데이터셋의 초록-전용 하위집합에서 인스턴스당 다섯 개 타깃(ICO 트리플, 방향 레이블(유의한 증가/감소, 효과 없음), 증거 조각)을 학습한다.
• 추상적 출력으로 인해 자동화 지표와 전문가 인간 평가는 모두 포함하여 평가하며, 의사에 의한 수동 주석 연구를 포함한다.
• 추출된 구조화된 증거에 대한 프로토타입 검색 인터페이스를 제공하고 모델 가중치 및 데이터셋 기원 발견을 공개한다.

Figure 1: We fine-tune a Large Language Model (LLM) to map from free-text descriptions of clinical trials to structured representations of findings.

실험 결과

연구 질문

• RQ1 지시 기반 LLM이 RCT 초록에서 ICO 트리플을 공동으로 추출하고 보고된 결과 방향을 추론할 수 있는가?
• RQ2 엔드-투-엔드 생성이 의료 증거 추론을 위한 파이프라인 또는 다단계 접근법보다 우수한가?
• RQ3 추출 타깃에 증거 범위를 포함하는 것이 추론 정확도에 어떤 영향을 미치는가?
• RQ4 모델이 대용량 RCT 코퍼스로 일반화하고 비완전한 참고문헌을 얼마나 잘 처리하는가?

주요 결과

• 지시 기반 Flan-T5를 사용한 엔드-투-엔드 생성이 이전 SOTA 대비 상당한 향상을 보이며, 엔드-투-엔드 ICO 추출에 대해 약 20 포인트의 절대적 F1 개선을 달성했다.
• ICO-트리플 레벨 평가에서 더 큰 지시 기반 모델(예: Flan-T5-large)이 높은 F1을 제공하는 등 정밀도와 재현율이 크게 향상되었다.
• 전문가 인간 평가에서 생성된 트리플의 적합성 및 정확성에 대해 Fleiss kappa = 0.77로 높은 합의를 보고했으며, 전문가는 적합성을 약 92.4% 정도 동의했다.
• 증거 범위를 타깃으로 포함시키는 것은 추론 작업을 크게 지원하고 공동 추출 성능을 개선한다.
• 프로토타입 검색 인터페이스는 대규모 RCT 코퍼스(Trialstreamer 하위집합)에서 구조화된 증거를 SQL 기반으로 검색할 수 있게 하여 실용적 유용성을 보여준다.

Figure 2: We propose instructional fine-tuning a large language model (top) using standard supervision to elicit evidence within generated ICO tuples. This approach yields substantial improvements over existing joint extraction approaches (bottom) where the entire task is decomposed into different i