[논문 리뷰] SoftTiger: A Clinical Foundation Model for Healthcare Workflows

Ye Chen, Igor Couto외 3명|arXiv (Cornell University)|2024. 03. 01.

Business Process Modeling and AnalysisBusiness, Management and Accounting인용 수 3

한 줄 요약

SoftTiger는 MIMIC-IV에서 제공한 신원 확인된 비식별화된 임상 노트를 기반으로 토대로 한 13B 및 70B 파라미터 임상 기초 모델로, 비정형 임상 서술을 표준화된 FHIR 호환 데이터(예: 국제 환자 요약, 임상 인상, 의료 방문 기록)로 구조화합니다. 이 모델은 임상 노트 처리 분야에서 최고 성능을 기록하며, 오픈소스 모델과 GPT-3.5를 능가하고, GPT-4와는 좁은 격차로 비교 가능하며, 최대 8,000 토큰의 긴 컨텍스트 창을 지원합니다.

ABSTRACT

We introduce SoftTiger, a clinical large language model (CLaM) designed as a foundation model for healthcare workflows. The narrative and unstructured nature of clinical notes is a major obstacle for healthcare intelligentization. We address a critical problem of structuring clinical notes into clinical data, according to international interoperability standards. We collect and annotate data for three subtasks, namely, international patient summary, clinical impression and medical encounter. We then supervised fine-tuned a state-of-the-art LLM using public and credentialed clinical data. The training is orchestrated in a way that the target model can first support basic clinical tasks such as abbreviation expansion and temporal information extraction, and then learn to perform more complex downstream clinical tasks. Moreover, we address several modeling challenges in the healthcare context, e.g., extra long context window. Our blind pairwise evaluation shows that SoftTiger outperforms other popular open-source models and GPT-3.5, comparable to Gemini-pro, with a mild gap from GPT-4. We believe that LLMs may become a step-stone towards healthcare digitalization and democratization. Therefore, we publicly release SoftTiger models at scales of 13 billion and 70 billion parameters, as well as datasets and code for our innovative scalable evaluation, hopefully, making a significant contribution to the healthcare industry.

연구 동기 및 목표

• 대규모 언어 모델을 활용하여 비정형 임상 노트를 표준화되고 상호운용 가능한 임상 데이터로 변환하는 데 있어 핵심 과제를 해결하기 위해.
• 기본 작업(예: 약어 확장)부터 복잡한 임상 워크플로우 작업에 이르기까지 모두 지원하는 경량이고 효율적인 피니테이닝 파ip라인을 개발하기 위해.
• 컨텍스트 길이 제한과 의학 어휘 이해 부족 문제를 해결하기 위해 최대 8,000 토큰까지의 장기 컨텍스트 임상 데이터와 정제된 주석 데이터를 기반으로 훈련함으로써.
• 13B 및 70B 파라미터 모델, 데이터셋, 평가 코드를 공개함으로써 헬스케어 디지털화 및 민주화를 촉진하기 위해.
• 실제 임상 현장 적용을 위해 인간이 개입하는 검증, 윤리심의 및 FHIR 표준 준수를 통해 안전성, 신뢰성, 규제 준수를 확보하기 위해.

제안 방법

• MIMIC-IV의 공개 및 신원 확인된 임상 데이터를 기반으로 최신 기술의 일반 목적 LLM을 피니테이닝하여, 임상 노트를 FHIR 호환 엔티티로 구조화하는 데 집중했습니다.
• 단계별 훈련 전략을 설계: 먼저 기본 작업(예: 시간 정보 추출, 약어 확장)을 가능하게 하고, 이후에 복잡한 임상 데이터 구조화 작업으로 전환했습니다.
• 추론 시 길이 외삽으로 인한 해상도 손실을 방지하기 위해 훈련 중 컨텍스트 창을 8,000 토큰으로 확장했습니다.
• 고품질의 FHIR 기반 데이터셋을 훈련 및 평가 목적으로 만들기 위해 GPT-4와 전문 의료진의 검토를 통해 100건의 임상 노트를 주석 처리했습니다.
• LLM을 심판자로 사용하고, ChatbotArena 방식의 쌍대 비교를 활용한 확장 가능한 오픈소스 평가 프레임워크를 구현하여 모델 벤치마킹을 수행했습니다.
• 실제 임상 적용을 위해 인간 평가 및 윤리위원회 준수를 포함한 안전성 및 신뢰성 프로토콜을 통합했습니다.

Figure 1: A survey on complexity and helpfulness of AI clinical tasks.

실험 결과

연구 질문

• RQ1 비정형 임상 노트를 표준화되고 상호운용 가능한 FHIR 호환 데이터로 효과적으로 변환할 수 있는 임상 기초 모델이 존재하는가?
• RQ2 장기 컨텍스트로 피니테이닝된 LLM은 기존 오픈소스 및 전용 모델 대비 복잡한 임상 데이터 구조화 작업에서 어떤 성능을 보이는가?
• RQ3 단계별 훈련 접근법은 기본 및 고급 임상 작업 모두에서 모델 성능 향상에 얼마나 기여하는가?
• RQ4 특히 용어 매핑 및 환자 개인정보 기밀 보호 측면에서, 모델의 출력은 임상 워크플로우에서 얼마나 신뢰할 수 있는가?
• RQ5 정제된 전문가 주석 데이터는 다양한 유형의 임상 노트에 걸쳐 모델의 일반화 능력과 성능 향상에 어떤 영향을 미치는가?

주요 결과

• 블라인드 쌍대 비교 평가에서 SoftTiger는 다른 오픈소스 LLM과 GPT-3.5를 능가하며, GPT-4와는 좁은 격차로 비교 가능한 성능을 기록했습니다.
• 장기 컨텍스트 임상 노트에서 강력한 성능을 보였으며, 추론 시 외삽을 방지하기 위해 최대 8,000 토큰의 컨텍스트 창으로 훈련함으로써 해상도와 정확도를 유지했습니다.
• 단계별 훈련 접근법은 모델이 먼저 기본 임상 작업(예: 약어 확장, 시간 정보 추출)을 숙달한 후에야 복잡한 데이터 구조화 작업을 수행할 수 있도록 성공적으로 유도했습니다.
• Hugging Face와 PhysioNet에서 13B 및 70B 파라미터 모델, 데이터셋, 평가 코드를 공개하여 재현성과 커뮤니티 기반 확장이 가능해졌습니다.
• 모델의 출력은 FHIR 표준(예: 국제 환자 요약, 임상 인상, 의료 방문 기록)과 일치하여 기존 전자의료기록 시스템과의 상호운용성을 보장합니다.
• 연구는 전문가 주석 데이터와 인간이 개입하는 검증의 중요성을 강조하며, 향후 연구에서는 데이터 정제의 투명성 향상과 평가자 간 일致도 측정 지표 개선이 기대됩니다.

Figure 2: Training and validation loss for SoftTiger