[논문 리뷰] Automated Clinical Data Extraction with Knowledge Conditioned LLMs

Diya Li, Asim Kadav외 3명|arXiv (Cornell University)|2024. 06. 26.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 문맥 내 학습(In-context learning, ICL)을 사용하여 동적으로 생성된 내부 지식을 전문가가 정제한 외부 지식과 동기화함으로써 임상 보고서에서 폐 병변 데이터를 자동으로 추출하기 위한 지식 조건부 두 단계 LLM 프레임워크를 제안한다. 이 방법은 기존 ICL 방법 대비 핵심 필드(크기, 가장자리, 밀도)에서 F1 스코어를 평균 12.9% 향상시켜 임상 NLP 응용 분야의 정확도를 높이고 환각 현상을 감소시킨다.

ABSTRACT

The extraction of lung lesion information from clinical and medical imaging reports is crucial for research on and clinical care of lung-related diseases. Large language models (LLMs) can be effective at interpreting unstructured text in reports, but they often hallucinate due to a lack of domain-specific knowledge, leading to reduced accuracy and posing challenges for use in clinical settings. To address this, we propose a novel framework that aligns generated internal knowledge with external knowledge through in-context learning (ICL). Our framework employs a retriever to identify relevant units of internal or external knowledge and a grader to evaluate the truthfulness and helpfulness of the retrieved internal-knowledge rules, to align and update the knowledge bases. Experiments with expert-curated test datasets demonstrate that this ICL approach can increase the F1 score for key fields (lesion size, margin and solidity) by an average of 12.9% over existing ICL methods.

연구 동기 및 목표

• 분야 특화 지식 부족으로 인한 LLM 기반 임상 데이터 추출의 환각 현상과 낮은 정확도 문제를 해결하기 위해.
• 비정형 영상의학 보고서에서 세밀한 폐 병변 특징(예: 가장자리, 밀도)을 신뢰할 수 있는 방식으로 추출함으로써 신뢰성을 향상시키기 위해.
• 자신이 생성한 내부 지식를 권위 있는 외부 의료 지식과 동적으로 정렬하는 확장 가능하고 반복적인 방법을 개발하기 위해.
• 임상 연구 및 영상의학 워크플로우에서 수동 작업을 줄이기 위해 병변 발견 정보를 구조화된 방식으로 자동화하여 추출하기 위해.

제안 방법

• 이 프레임워크는 두 단계 과정을 사용한다: 첫 번째 단계에서는 폐 병변 발견 사항을 탐지하고 주요 구조화된 필드를 파싱하며, 두 번째 단계에서는 비정형 병변 기술 문장을 더 세밀한 필드로 분할한다.
• 정제된 의료 보고서 코퍼스에서 자동으로 내부 지식 기반을 생성하며, 관련 참고 자료를 고수준의 추출 규칙으로 변환한다.
• 검색기(retriever)는 입력 보고서에 기반해 관련된 내부 지식 규칙을 선택하고, 평가기(grade)는 외부 전문가 지식을 사용하여 그 규칙의 진실성과 유용성을 평가한다.
• 문맥 내 학습(In-context learning, ICL)을 통해 검색된 규칙과 평가된 결과를 LLM에 프롬프트하여 추출 정확도와 일관성을 향상시킨다.
• 두 번째 단계에서는 복잡하고 중첩된 병변 기술을 구조화된 필드로 파싱할 수 있도록 제어된 어휘를 사용한다.
• 외부 지식는 오직 내부 지식 기반의 검증과 업데이트에만 사용되며, 핵심 아키텍처를 변경하지 않고도 동적 개선이 가능하게 한다.

Figure 1: Example of lung lesion information extraction. Two findings (one describing a single lesion, and the other, two lesions) were identified in the source text. Example rules from the generated internal knowledge base are shown. First-stage finding detection and primary structured field parsin

실험 결과

연구 질문

• RQ1 동적으로 정렬된 내부 지식와 외부 지식를 활용한 문맥 내 학습은 LLM 기반 임상 데이터 추출에서 환각 현상을 줄일 수 있는가?
• RQ2 지식 조건부 프롬프팅은 가장자리, 밀도와 같은 세밀한 폐 병변 특징 추출 정확도를 어떻게 향상시키는가?
• RQ3 자기 업데이트 가능한 내부 지식 기반은 정적 ICL 또는 검색 증강 생성(RAG) 방법보다 임상 NLP 작업에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 두 단계 파싱 접근 방식은 종단 간(end-to-end) 방법에 비해 복잡하고 중첩된 병변 기술의 추출을 얼마나 더 잘 수행할 수 있는가?
• RQ5 전문가가 정제한 외부 지식의 통합은 LLM이 생성한 임상 데이터 추출의 신뢰성은 어떻게 향상시키는가?

주요 결과

• 제안된 프레임워크는 기존 ICL 방법 대비 핵심 병변 필드(병변 크기, 가장자리, 밀도)의 F1 스코어를 평균 12.9% 향상시켰다.
• 이 방법은 임상적으로 유의미한 발견을 탐지하는 데 있어 더 높은 신뢰성을 보였으며, LLM 출력에서 환각 현상을 크게 감소시켰다.
• 두 단계 파싱 접근 방식은 특수한 프롬프팅과 제어된 어휘를 적용함으로써 중첩된 병변 기술 필드의 더 정확한 추출을 가능하게 하였다.
• 평가기 모듈은 현재 미세조정 없이 사전 학습된 상태이지만, 검색된 지식 규칙의 진실성과 유용성을 효과적으로 평가하였다.
• 시스템 아키텍처는 핵심 모델을 수정하지 않고도 업데이트된 또는 개선된 외부 지식 소스를 쉽게 통합할 수 있다.
• 표준 RAG 및 ICL 베이스라인에 비해 특히 도메인 특화된 복잡한 임상 특성의 추출에서 뛰어난 성능을 보였다.

Figure 3: Heatmap of lesion size extraction performance with varying values for the retriever’s top- $k$ hyper-parameter, for both lung-related and lung-irrelevant rules.