[논문 리뷰] Unsupervised Pseudo-Labeling for Extractive Summarization on Electronic Health Records

Xiangan Liu, Keyang Xu외 2명|arXiv (Cornell University)|2018. 11. 20.

Machine Learning in Healthcare참고 문헌 14인용 수 9

한 줄 요약

이 논문은 전자 건강 기록(EHR)의 추출적 요약을 위한 비지도 학습 기반 가짜 레이블링 방법을 제안한다. 이는 동일 환자의 종단적 임상 노트 간의 내재된 상관관계를 활용한다. 질병 관련 의료 엔터티와 정수선형계획법(ILP)을 활용해 가짜 레이블을 생성함으로써, 지도 학습 기반 신경망 모델을 훈련시켜 ROUGE 점수에서 비지도 기반 베이스라인을 능가하며, 인간이 애너테이션한 요약이 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Extractive summarization is very useful for physicians to better manage and digest Electronic Health Records (EHRs). However, the training of a supervised model requires disease-specific medical background and is thus very expensive. We studied how to utilize the intrinsic correlation between multiple EHRs to generate pseudo-labels and train a supervised model with no external annotation. Experiments on real-patient data validate that our model is effective in summarizing crucial disease-specific information for patients.

연구 동기 및 목표

• 추출적 요약을 위한 EHR 애너테이션의 높은 비용 문제를 해결하기 위해 인간이 애너테이션한 레이블이 필요 없도록 하는 것.
• 동일 환자로부터의 다수의 임상 노트 간 내재된 상관관계를 활용해 요약 성능을 향상시키는 것.
• 질병 관련 의료 엔터티와 노트 간 시간적 일관성을 활용해 고품질의 가짜 레이블을 생성하는 방법을 개발하는 것.
• 이러한 가짜 레이블을 기반으로 지도 학습 기반 신경망 모델을 훈련시켜 비지도 방법에 비해 일반화 능력을 향상시키는 것.
• 신규성 및 위치 특징을 통합할 경우 요약 품질 향상에 기여하는지 검증하는 것.

제안 방법

• 후행 노트에서 추출한 질병 관련 의료 엔터티를 기반으로 한 커버리지 점수를 사용하여 요약 품질을 측정하며, IDF 및 의미 유사도로 가중치를 부여한다.
• 길이 제약 조건 하에 관련 엔터티의 커버리지 최대화를 목표로 하여 정수선형계획법(ILP)을 활용해 가짜 레이블링 목적함수를 정의한다.
• 사전 학습된 PubMed 단어 임베딩과 평균 풀링을 활용해 엔터티와 문장 간 의미 유사도를 계산한다.
• Bi-GRU 기반 신경망 모델에 어텐션을 적용하여 추출적 요약을 위한 문맥 인식 문장 표현을 학습한다.
• 최대 경계 거리 유사도(MMR)를 통한 신규성과 위치 편향을 통합하여 중복을 줄이고 문장 선택을 향상시킨다.
• 최적화 목적함수 내 비연속적인 최대 연산을 처리하기 위해 로그-합-지수 근사법을 적용한다.

실험 결과

연구 질문

• RQ1 동일 환자에 대한 질병 특이적 요약 품질을 어떻게 측정할 수 있는가?
• RQ2 RQ1의 기준을 바탕으로, 이 기준을 가장 잘 충족하는 가짜 레이블을 어떻게 생성할 수 있는가?
• RQ3 RQ2에서 생성한 가짜 레이블을 바탕으로, 의료 환경에서 요약을 수행하기 위해 어떤 모델 아키텍처를 사용해야 하는가?
• RQ4 신규성 및 위치 특징은 요약 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 ROUGE-1(0.53), ROUGE-2(0.38), ROUGE-L(0.51) 점수에서 모든 비지도 기반 베이스라인을 능가하며 최고의 성능을 기록했다.
• 신규성 구성요소를 제거하면 ROUGE-1은 0.48, ROUGE-2는 0.33로 성능이 저하되어 중복 감소에 있어 그 중요성을 입증했다.
• 위치 특징을 제외한 경우 ROUGE-1은 0.50, ROUGE-L은 0.49로 향상되어, 템플릿 기반 임상 노트에서 위치 편향이 성능 향상에 기여한다는 것을 시사했다.
• 비지도 방법인 TF-IDF + MMR는 비임상 지침(예: 환자 자가 간호 리마인더)을 잘못 선택한 반면, 본 방법은 이를 정확히 배제했다.
• 엔터티 기반 탐욕 알고리즘에 비해 짧고 영향력 있는 문장(예: '만성 수축기 심부전')을 보다 뛰어나게 식별하는 능력을 보였다.
• ILP를 통한 가짜 레이블 생성이 질병 특이적 관련성을 효과적으로 포착하여, 비지도 방법에 비해 신경망 모델의 일반화 능력을 향상시켰다.