[논문 리뷰] Summarizing Patients Problems from Hospital Progress Notes Using Pre-trained Sequence-to-Sequence Models

Yanjun Gao, Dmitriy Dligach외 4명|PubMed|2022. 08. 17.

Topic Modeling참고 문헌 18인용 수 15

한 줄 요약

이 논문은 사전 훈련된 시퀀스 톱시퀀스 모델을 사용하여 병원 진행 기록에서 환자의 문제를 요약하는 데 새로운 NLP 작업을 소개한다. 도메인 적응형 사전 훈련으로 미세조정된 T5 모델이 규칙 기반 및 일반 도메인 모델보다 유의미하게 뛰어난 성능을 보이며, 임상 문제 목록 요약을 위한 새로운 MIMIC-III 기반 코퍼스에서 최신 기술 성능을 달성한다.

ABSTRACT

Automatically summarizing patients' main problems from daily progress notes using natural language processing methods helps to battle against information and cognitive overload in hospital settings and potentially assists providers with computerized diagnostic decision support. Problem list summarization requires a model to understand, abstract, and generate clinical documentation. In this work, we propose a new NLP task that aims to generate a list of problems in a patient's daily care plan using input from the provider's progress notes during hospitalization. We investigate the performance of T5 and BART, two state-of-the-art seq2seq transformer architectures, in solving this problem. We provide a corpus built on top of progress notes from publicly available electronic health record progress notes in the Medical Information Mart for Intensive Care (MIMIC)-III. T5 and BART are trained on general domain text, and we experiment with a data augmentation method and a domain adaptation pre-training method to increase exposure to medical vocabulary and knowledge. Evaluation methods include ROUGE, BERTScore, cosine similarity on sentence embedding, and F-score on medical concepts. Results show that T5 with domain adaptive pre-training achieves significant performance gains compared to a rule-based system and general domain pre-trained language models, indicating a promising direction for tackling the problem summarization task.

연구 동기 및 목표

• 일상적인 진행 기록에서 환자의 문제를 자동으로 요약하여 병원 환경에서의 정보 및 인지 과부하 문제를 해결한다.
• 복잡한 임상 정보의 추상화가 필요한, 임상 진단 추론에 초점을 맞춘 지식 집약적인 요약 작업을 제안한다.
• 이 새로운 문제 목록 요약 작업에 대해 최신 기술의 seq2seq 모델(T5 및 BART)을 평가한다.
• 의료 텍스트를 사용한 데이터 증강과 함께 도메인 적응형 사전 훈련을 통해 모델 성능을 향상시킨다.
• NLP를 활용한 임상 진단 의사결정 지원 분야의未래 연구를 위한 벤치마크를 수립한다.

제안 방법

• 이 작업은 입력이 진행 기록이고 출력이 환자의 문제 요약 목록인 시퀀스 토토시퀀스 텍스트 생성으로 정의된다.
• 저자는 MIMIC-III EHR 데이터셋을 사용하여, 문제 목록 생성을 위한 ICU 진행 기록의 일부를 추출하고 주석을 붙였다.
• T5 및 BART 모델은 주석이 붙은 코퍼스에서 미세조정되었으며, 일반 도메인 사전 훈련과 도메인 적응형 사전 훈련(DAPT)을 비교하는 실험을 수행했다.
• 훈련 데이터에서 의료 용어와 임상 개념에 더 많이 노출되도록 데이터 증강 방법을 적용했다.
• ROUGE, BERTScore, 문장 임베딩의 코사인 유사도, 의료 개념에 대한 F-스코어를 사용하여 모델을 평가했다.
• 요약 품질에 미치는 영향을 평가하기 위해, 추론 실험에서 진행 기록의 목적 섹션(예: 검사 결과)을 입력에 통합했다.

실험 결과

연구 질문

• RQ1 T5 및 BART와 같은 사전 훈련된 시퀀스 토토시퀀스 모델이 임상 진행 기록에서 환자의 문제를 효과적으로 요약할 수 있는가?
• RQ2 일반 도메인 사전 훈련 대비 도메인 적응형 사전 훈련이 임상 문제 목록 요약 작업에서 모델 성능을 향상시키는가?
• RQ3 예를 들어 목적 섹션을 포함한 다양한 입력 구성 방식이 요약 품질에 어떤 영향을 미치는가?
• RQ4 ROUGE 및 BERTScore와 같은 자동 평가 지표가 임상적으로 중요한 의료 개념 회수와 얼마나 관련이 있는가?
• RQ5 현재 모델이 증상, 약물 및 질병 간의 연관성을 이해하는 데에 얼마나 어려움을 겪는가?

주요 결과

• 도메인 적응형 사전 훈련(DAPT)을 적용한 T5 모델은 규칙 기반 시스템과 일반 도메인 사전 훈련 모델 모두를 뛰어넘는 유의미한 성능 향상을 보였다.
• DAPT로 미세조정된 모델은 의료 개념에 대한 F-스코어가 향상되어 임상적으로 관련성이 높은 진단을 더 잘 포착함을 보였다.
• 진행 기록의 목적 섹션(예: 검사 결과)을 입력에 통합한 결과, 모델이 종종 원시적인 검사 결과를 추출하고 진단 요약을 생성하지 못하는 경향을 보였으며, 이는 구조화된 데이터의 더 나은 통합이 필요함을 시사했다.
• ROUGE 및 BERTScore 지표는 임상적 관련성과 중간 정도의 상관관계를 보였지만, 증거 기반 평가는 여전히 도전 과제였다.
• 결과는 현재 모델가 여전히 증상, 약물 및 질병 간의 연관성을 이해하는 데 어려움을 겪고 있음을 보여주며, 임상 추론 분야의 핵심 격차를 드러냈다.
• 연구는 훈련 데이터가 암묵적인 사회적 및 언어적 편향을 내재하고 있을 수 있어 모델의 공정성에 영향을 줄 수 있으므로 공정성 감사가 필요하다고 강조한다.