[논문 리뷰] Coupling Symbolic Reasoning with Language Modeling for Efficient Longitudinal Understanding of Unstructured Electronic Medical Records

Shivani Shekhar, Simran Tiwari외 3명|arXiv (Cornell University)|2023. 08. 07.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 구조화되지 않은 전자 의료 기록(EMR)의 종단적 이해를 향상시키기 위해 대규모 언어 모델(LLM)과 상징적 추론을 통합한 하이브리드 프레임워크를 제안한다. 자연어 이해 능력을 지닌 LLM과 구조화된 추론을 위한 상징 논리를 결합함으로써, 의료 변수 추출 성능을 햖थ하고, 상용 LLM과 비교해도 성능이 유사한 결과를 도출하며, 특히 상징적 조정이 LLM의 신뢰도를 크게 향상시킨다는 점을 입증한다.

ABSTRACT

The application of Artificial Intelligence (AI) in healthcare has been revolutionary, especially with the recent advancements in transformer-based Large Language Models (LLMs). However, the task of understanding unstructured electronic medical records remains a challenge given the nature of the records (e.g., disorganization, inconsistency, and redundancy) and the inability of LLMs to derive reasoning paradigms that allow for comprehensive understanding of medical variables. In this work, we examine the power of coupling symbolic reasoning with language modeling toward improved understanding of unstructured clinical texts. We show that such a combination improves the extraction of several medical variables from unstructured records. In addition, we show that the state-of-the-art commercially-free LLMs enjoy retrieval capabilities comparable to those provided by their commercial counterparts. Finally, we elaborate on the need for LLM steering through the application of symbolic reasoning as the exclusive use of LLMs results in the lowest performance.

연구 동기 및 목표

• 비구조적이고 일관성 없으며 중복된 구조화되지 않은 EMR에서 의미 있는 의료 변수를 추출하는 데 도전하는 것.
• 상징적 추론이 임상 텍스트 이해에서 LLM의 추론 능력을 향상시킬 수 있는지 조사하는 것.
• 최신 개방형 LLM의 EMR 추출 작업에서의 성능을 평가하고, 특히 상용 모델과의 비교를 통해 성능을 분석하는 것.
• 상징적 추론 조정이 LLM의 신뢰도를 향상시키고 임상 추론에서 환각 현상을 줄이는 데 기여함을 입증하는 것.

제안 방법

• 프리트레이닝된 LLM과 상징적 추론 엔진을 결합하여 종단적 임상 노트를 처리하는 프레임워크를 구축한다.
• 시간적 관계, 진단 기준, 치료 순서와 같은 임상 논리를 상징적 규칙로 표현한다.
• LLM이 비구조화된 텍스트에서 후보 엔티티와 관계를 추출한 후, 이를 상징적 추론을 통해 검증하고 정제한다.
• 검색 기반 증강 생성 파이프라인을 통해 맥락 인식 능력을 향상시켜 장기적인 환자 기록을 더 잘 처리할 수 있도록 한다.
• 규칙 기반 필터링 및 일관성 검사를 통해 LLM의 출력을 보정하고 사실적 정확도를 향상시킨다.
• 표준 의료 변수 추출 벤치마크를 사용하여 실제 EMR 데이터셋에서 프로포절의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 LLM과 함께 상징적 추론을 활용할 경우, 비구조화된 EMR에서 의료 변수 추출의 정확도와 일관성이 향상되는가?
• RQ2 상징적 추론으로 향상된 상태에서 개방형 LLM의 종단적 임상 텍스트 이해 능력이 상용 LLM과 비교해 어떻게 성능을 내는가?
• RQ3 상징적 조정이 LLM 기반 임상 시스템에서 환각 현상을 어느 정도 줄이고 추론의 신뢰도를 향상시키는가?
• RQ4 하이브리드 상징-LLM 시스템이 EMR 이해 작업에서 상용 모델과 비슷한 성능을 달성할 수 있는가?

주요 결과

• LLM를 별도로 사용할 경우에 비해 하이브리드 상징-LLM 시스템이 핵심 의료 변수 추출 정확도를 크게 향상시킨다.
• 상징적 추론에 의해 안내되는 개방형 LLM은 상용 LLM과 비교해도 검색 및 추론 성능이 유사한 수준에 도달한다.
• 상징적 추론은 특히 종단적 맥락에서 임상 추론의 환각 현상을 줄이고 일관성을 향상시킨다.
• LLM에 상징 규칙를 결합함으로써 더 신뢰도 있고 해석 가능한 임상 의사결정 지원 출력을 도출할 수 있다.