[논문 리뷰] Towards more patient friendly clinical notes through language models and ontologies

Francesco Moramarco, Damir Jurić외 9명|arXiv (Cornell University)|2021. 12. 23.

Text Readability and Simplification인용 수 11

한 줄 요약

이 논문은 의료 포럼 데이터에 맞춤형으로 튜닝된 언어 모델과 보다 평이한 어휘로 확장된 종합적인 의료 온톨로지에 기반한 새로운 접근법을 제안한다. 단어 빈도와 언어 모델 확률을 통합한 점수 함수를 통해 문법적으로 올바르고 의미를 유지하는 간소화된 의료 기록을 생성하며, 인간 평가에서 최신 기술(SOTA) 모델을 능가하여 75.4%의 문법 정확도와 93.4%의 의미 유지율을 달성한다.

ABSTRACT

Clinical notes are an efficient way to record patient information but are notoriously hard to decipher for non-experts. Automatically simplifying medical text can empower patients with valuable information about their health, while saving clinicians time. We present a novel approach to automated simplification of medical text based on word frequencies and language modelling, grounded on medical ontologies enriched with layman terms. We release a new dataset of pairs of publicly available medical sentences and a version of them simplified by clinicians. Also, we define a novel text simplification metric and evaluation framework, which we use to conduct a large-scale human evaluation of our method against the state of the art. Our method based on a language model trained on medical forum data generates simpler sentences while preserving both grammar and the original meaning, surpassing the current state of the art.

연구 동기 및 목표

• 환자가 복잡한 의료 용어를 더 쉽게 이해할 수 있도록 자동으로 의료 기록을 단순화하는 데 도전하는 것.
• 의료 텍스트 단순화 평가를 위한 고품질이고 공개된 데이터셋의 부족을 해결하는 것.
• 표면적 메트릭보다 문법 정확도와 의미 유지도를 우선시하는 강력한 평가 프레임워크를 개발하는 것.
• 의료 정확도를 유지하면서도 확장 가능한 온톨로지 기반의 단순화 방법을 개발하는 것.
• 실제 의료 대화 데이터에 훈련된 언어 모델이 규칙 기반 또는 템플릿 기반 접근법보다 우수한 성능을 보임을 입증하는 것.

제안 방법

• 복잡한 용어에 대한 평이한 어휘를 포함한 의료 온톨로지를 사용하며, 이는 SNOMED-CT 및 기타 자료에서 유래한다.
• 단어 빈도와 언어 모델 확률을 조합한 새로운 점수 함수를 통해 후보 단순화 버전을 순위 매긴다.
• 익명화된 의료 포럼 데이터에 대해 훈련된 왼쪽에서 오른쪽으로 진행되는 무제한 언어 모델(GPT-1)을 사용해 유창하고 맥락 인식 가능한 단순화를 생성한다.
• 반복적인 단순화를 수행하며, 각 단계에서 점수 함수를 적용해 최적의 용어 교체를 선택한다.
• 반복 횟수 제한과 루프 탐지로 수렴을 보장하며, 문장 길이가 증가하는 경향이 있는 GPT-2와 같은 모델에 특히 유용하다.
• 언어학자와 임상의가 참여하는 인간 평가 프레임워크를 통해 1,250개 샘플 테스트 세트에서 문법성과 의미 유지도를 평가한다.

실험 결과

연구 질문

• RQ1 의료 포럼 데이터에 맞춤형으로 튜닝된 언어 모델은 의미를 유지하면서도 더 간단하고 가독성이 높은 의료 기록을 생성할 수 있는가?
• RQ2 단어 빈도와 언어 모델 확률을 조합함으로써 규칙 기반 또는 어휘표 기반 방법에 비해 단순화 품질이 어떻게 향상되는가?
• RQ3 다양한 모델이 의료 텍스트 단순화에서 문법 정확도와 의미 정확도를 어느 정도 유지하는가?
• RQ4 의료 전문가의 인간 주석 기반 평가 프레임워크는 BLEU나 SARI와 같은 표준 자동 메트릭보다 우수한가?
• RQ5 일상어어휘를 포함한 의료 온톨로지를 효과적으로 활용해 임상 정확도를 훼손하지 않고 단순화를 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 인간 주석 기반 테스트 세트에서 75.4%의 문법 정확도(G1)와 93.4%의 의미 유지율을 달성하여 모든 기준 모델을 능가했다.
• 의료 포럼 데이터에 훈련된 왼쪽에서 오른쪽으로 진행되는 언어 모델인 GPT-1이 인간 평가에서 가장 높은 품질의 단순화를 생성했다.
• NTS 기준 모델은 높은 BLEU 점수를 기록했지만, 36.9%의 경우 의미를 유지하지 못해 자동 메트릭의 한계를 드러냈다.
• 언어 모델 가이드라인 덕분에 주요 문법 오류는 6.8%로 감소(NTS 대비 15% 감소)하여 그 효과를 입증했다.
• 수렴 제어는 GPT-2를 제외한 모든 모델에서 단순화 품질 향상에 기여했으며, GPT-2는 자동 회귀 생성으로 인해 문장 길이 증가 현상을 보였다.
• 의료 전문가가 검증한 단순화가 포함된 1,250개 샘플의 임상 기록 단순화 데이터셋을 공개하여 분야의 핵심 격차를 메웠다.