[논문 리뷰] Towards Clinical Encounter Summarization: Learning to Compose Discharge Summaries from Prior Notes

Han-Chin Shing, Chaitanya Shivade외 5명|arXiv (Cornell University)|2021. 04. 27.

Topic Modeling참고 문헌 32인용 수 13

한 줄 요약

이 논문은 기존의 비정형 EHR 노트에서 임상 퇴원 요약문을 구성하는 새로운 작업을 제안하며, 추출-요약 파이프라인을 사용한다. 의료 NER를 활용한 충실도 인식 평가 프레임워크를 제안하고, 추적 가능하고 추출-개념화된 아키텍처가 일곱 가지 의료 섹션에서 뛰어난 충실도와 강건한 성능을 보임을 입증한다. 특히 BART 기반 모델이 충실도 조정 F3 점수에서 다른 모델들을 앞서며 뛰어난 성능을 보였다.

ABSTRACT

The records of a clinical encounter can be extensive and complex, thus placing a premium on tools that can extract and summarize relevant information. This paper introduces the task of generating discharge summaries for a clinical encounter. Summaries in this setting need to be faithful, traceable, and scale to multiple long documents, motivating the use of extract-then-abstract summarization cascades. We introduce two new measures, faithfulness and hallucination rate for evaluation in this task, which complement existing measures for fluency and informativeness. Results across seven medical sections and five models show that a summarization architecture that supports traceability yields promising results, and that a sentence-rewriting approach performs consistently on the measure used for faithfulness (faithfulness-adjusted $F_3$) over a diverse range of generated sections.

연구 동기 및 목표

• 다중 문서 임상 만남에서 긴 비정형 EHR 노트를 요약하는 임상적 과제를 해결하기 위해.
• 이전 임상 노트를 기반으로 퇴원 요약문을 구성하는 새로운 작업을 제안하기 위해: 추적 가능하고 증거 기반 접근법을 사용하여.
• 장기간의 임상 텍스트에 대해 충실도, 추적 가능성, 확장성 측면에서 요약 모델을 평가하기 위해.
• 추상적 요약문에서 환각 현상을 탐지하기 위한 새로운 NER 기반 충실도 메트릭을 도입하고 검증하기 위해.
• MIMIC-III에서 파생된 벤치마크 데이터셋을 만들어 임상 다중 문서 요약 분야의 연구를 위한 기반을 마련하기 위해.

제안 방법

• 추출-개념화 요약 파이프라인을 제안: 먼저 이전 임상 노트에서 관련 문장을 추출하고, 이를 바탕으로 개선된 퇴원 요약 섹션을 생성한다.
• 장기적인 임상 문서 시퀀스에서 핵심 문장을 식별하기 위해 리콜 중심의 추출기(예: RNN+RL 또는 로지스틱 회귀)를 사용한다.
• 추출된 내용에서 유창하고 간결한 요약문을 생성하기 위해 사전 훈련된 시퀀스-투-시퀀스 모델(BART)을 추상화기로 활용한다.
• 생성된 요약문의 엔터티와 원본 노트의 엔터티를 비교하여 의료 명명된 엔터티 인식(NER) 기반의 충실도 평가 메트릭을 도입한다.
• ROUGE 점수와 NER 기반 충실도를 결합하여 유창성과 사실 일관성 양측을 평가한다.
• MIMIC-III 데이터셋을 사용하여 일곱 가지 퇴원 요약 섹션에서 다섯 가지 다른 모델(RNN+RL, BART, Presumm 등)을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 기존의 추상적 요약 모델은 이전 임상 노트에서 퇴원 요약문을 생성할 때 충실도 측면에서 얼마나 잘 수행되는가?
• RQ2 추출-개념화 파이프라인은 다중 문서 임상 요약에서 추적 가능성 향상과 환각 감소에 기여하는가?
• RQ3 기존의 ROUGE 메트릭에 비해 NER 기반 충실도 메트릭은 생성된 요약문에서 사실 일관성 오류를 얼마나 잘 탐지하는가?
• RQ4 BART와 RNN+RL 등의 다양한 모델 아키텍처는 정확하고 추적 가능한 퇴원 요약 섹션을 생성하는 데서 어떤 성능을 보이는가?
• RQ5 증거 백업 및 장기적 컨텍스트 처리를 지원하는 파이프라인이 실제 임상 만남 데이터에 대해 효과적으로 확장 가능한가?

주요 결과

• 추출-개념화 파이프라인은 종단 간 추상적 모델에 비해 충실도를 크게 향상시키며, BART 기반 시스템이 가장 높은 충실도 조정 F3 점수를 기록했다.
• NER 기반 충실도 메트릭은 환각 현상을 성공적으로 탐지했으며, 예를 들어 원본 노트에 조건이 기재되어 있음에도 불구하고 '가족력 없음'이라는 잘못된 진술을 탐지했다.
• BART 모델은 충실도 조정 F3 메트릭에서 RNN+RL 및 기타 추상적 기준 모델들을 앞서며 더 뛰어난 사실 일관성을 보였다.
• 강력한 성능에도 불구하고 모든 모델가 '장기용 방출형 니트레이트로 안정된 협심증'과 같은 핵심 임상 정보를 놓쳤으며, 이는 미묘한 임상 정보를 포착하는 데 지속적인 과제가 있음을 시사한다.
• 파이프라인은 원본 문장 참조를 유지함으로써 추적 가능성을 보장하여 임상의사의 검증을 지원하고 모델 출력의 검증 불가능성에 대한 의존도를 줄였다.
• MIMIC-III에서 유래한 데이터셋은 향후 임상 다중 문서 요약 분야의 연구를 위한 유효한 벤치마크를 제공하지만, 결과는 한 곳의 미국 병원의 중환자실 데이터에 편향되어 있다.