[논문 리뷰] Fine-tuning foundational models to code diagnoses from veterinary health records

Mayla R. Boguslav, Adam Kiehl외 6명|arXiv (Cornell University)|2024. 10. 19.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 연구는 콜로라도 주립대학교 수의학 교육병원의 수의학 기록 246,473건을 수작업으로 코드화한 자료를 바탕으로 10종의 사전 훈련된 대규모 언어모델(Large Language Models, LLMs)을 미세조정하여, 7,739개의 서로 다른 코드로 SNOMED-CT 진료 코드를 자동화하는 것을 목적으로 한다. 가장 뛰어난 성능은 넓은 레이블 데이터를 바탕으로 한 대규모 임상 전용 LLMs를 사용할 때 달성되었으며, 이는 자동 코드화가 상호운용성 향상과 한 건강 연구 지원을 위해 교차 종 간 데이터 통합을 가능하게 한다는 것을 보여준다.

ABSTRACT

Veterinary medical records represent a large data resource for application to veterinary and One Health clinical research efforts. Use of the data is limited by interoperability challenges including inconsistent data formats and data siloing. Clinical coding using standardized medical terminologies enhances the quality of medical records and facilitates their interoperability with veterinary and human health records from other sites. Previous studies, such as DeepTag and VetTag, evaluated the application of Natural Language Processing (NLP) to automate veterinary diagnosis coding, employing long short-term memory (LSTM) and transformer models to infer a subset of Systemized Nomenclature of Medicine - Clinical Terms (SNOMED-CT) diagnosis codes from free-text clinical notes. This study expands on these efforts by incorporating all 7,739 distinct SNOMED-CT diagnosis codes recognized by the Colorado State University (CSU) Veterinary Teaching Hospital (VTH) and by leveraging the increasing availability of pre-trained language models (LMs). 13 freely-available pre-trained LMs were fine-tuned on the free-text notes from 246,473 manually-coded veterinary patient visits included in the CSU VTH's electronic health records (EHRs), which resulted in superior performance relative to previous efforts. The most accurate results were obtained when expansive labeled data were used to fine-tune relatively large clinical LMs, but the study also showed that comparable results can be obtained using more limited resources and non-clinical LMs. The results of this study contribute to the improvement of the quality of veterinary EHRs by investigating accessible methods for automated coding and support both animal and human health research by paving the way for more integrated and comprehensive health databases that span species and institutions.

연구 동기 및 목표

• 비일관되고 고립된 수의학 기록 문제를 해결하기 위해 표준화된 임상 코드화를 자동화함으로써 지원하는 것.
• SNOMED-CT와 같은 표준 용어 체계와의 통합을 통해 수의학 전자기록(EHR)의 상호운용성을 향상시키는 것.
• 공통된 코드 기준을 통해 인간과 동물 건강 기록 간의 데이터 연계를 가능하게 하여 한 건강 연구를 지원하는 것.
• 자연어 처리(NLP) 기반의 다양한 사전 훈련된 LLMs가 자유형 임상 노트에서 수의학 질환을 진단하는 데 얼마나 효과적인지 평가하는 것.
• 자원이 제한된 환경에서 확장 가능하고 정확한 진단 코드화를 위한 최적의 모델 및 데이터 구성 요건을 규명하는 것.

제안 방법

• 콜로라도 주립대학교 수의학 교육병원(VTH) EHR 시스템에서 확보한 246,473건의 수의학 환자 방문 기록을 기반으로, GatorTron, MedicalAI ClinicalBERT, VetBERT, GPT-2 변종 등 10종의 무료로 이용 가능한 사전 훈련된 LLMs를 미세조정함.
• 자유형 임상 노트를 7,739개의 서로 다른 SNOMED-CT 진료 코드로 매핑하기 위해 다중 클래스 분류 프레임워크를 사용함.
• 미래의 기관 간 및 종 간 데이터 통합을 가능하게 하기 위해 OMOP 공통 데이터 모델(CDM)을 활용하여 코드화를 표준화함.
• 일반 목적 및 임상 전용 LLMs를 수의학 진단 코드화 작업에 적합하도록 전이 학습 기법을 활용하여 적응시킴.
• 다중 레이블 분류 작업에서 표준 NLP 지표인 F1 점수, 정밀도, 재현율을 사용하여 모델 성능을 평가함.
• 높은 코드화 정확도를 달성하기 위해 모델 크기, 임상 전용성, 데이터 가용성 간의 상호 보완적 관계를 탐색함.

실험 결과

연구 질문

• RQ1 사전 훈련된 대규모 언어모델(Large Language Models)이 수의학 EHR에서 SNOMED-CT 진료 코드화를 효과적으로 미세조정할 수 있는가?
• RQ2 모델 아키텍처와 임상 전용성은 7,739개의 수의학 진료 코드에 대해 코드화 정확도에 어떤 영향을 미치는가?
• RQ3 제한된 수의학 데이터를 기반으로 미세조정할 경우, 비임상 전용 LLMs가 임상 전용 모델과 유사한 성능을 달성할 수 있는가?
• RQ4 훈련 데이터 크기가 수의학 진료 코드화에서 LLM 성능에 어떤 영향을 미치는가?
• RQ5 미세조정된 LLMs를 통해 표준화된 SNOMED-CT 코드화를 통해 수의학 기록과 인간 건강 기록 간의 상호운용성을 달성할 수 있는가?

주요 결과

• 246,473건의 수의학 방문 기록에서 확보한 광범위한 레이블 데이터를 기반으로, MedicalAI ClinicalBERT 및 VetBERT와 같은 대규모 임상 전용 LLMs를 미세조정함으로써 가장 높은 정확도의 진단 코드화 성과를 달성함.
• GatorTron 및 기타 대규모 일반 목적 LLMs를 미세조정함으로써 높은 성능을 기록하였으며, 이는 특수화된 수의학 모델 없이도 최첨단 성능을 달성할 수 있음을 보여줌.
• 충분한 데이터를 기반으로 미세조정된 BERT 및 RoBERTa와 같은 소규모 비임상 전용 LLMs를 사용할 경우, 유사한 코드화 정확도를 확보할 수 있었으며, 이는 자원이 제한된 환경에서도 확장 가능함을 시사함.
• 기존의 DeepTag 및 VetTag와 같은 방법에 비해 다중 레이블 F1 점수에서 뚜렷한 향상을 달성하였으며, 이는 SNOMED-CT 코드의 일부 집합에만 국한된 제약이 있었기 때문임.
• OMOP CDM 및 표준화된 SNOMED-CT 코드화의 활용은 향후 인간과 동물 건강 시스템 간의 데이터 연계를 가능하게 하여, 한 건강 이니셔티브를 지원함.
• 결과적으로 자동화되고 정확한 진단 코드화가 대규모로 실현 가능함을 입증하였으며, 이는 수의학 임상 연구의 데이터 품질 향상과 상호운용성 향상에 기여함.