[논문 리뷰] Attend to Medical Ontologies: Content Selection for Clinical Abstractive Summarization

Sajad Sotudeh, Nazli Goharian외 1명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 28인용 수 8

한 줄 요약

이 논문은 영상의학 보고서의 발견 내용에서 중요한 의료 온톨로지 용어를 식별하고 요약 과정에 통합함으로써 임상 적으로 개선된 요약 생성을 위한 새로운 seq2seq 모델을 제안한다. BERT 임베딩에 기반한 양방향 LSTM 시퀀스 태거를 사용하여 인상(Imprssion)에 용어를 복사할 가능성 예측함으로써 내용 선택을 향상시키며, MIMIC-CXR 및 OpenI 데이터셋에서 최신 기준 모델 대비 통계적으로 유의미한 향상(ROUGE-1 +2.9%, ROUGE-2 +2.5%, ROUGE-L +1.9%)을 달성한다.

ABSTRACT

Sequence-to-sequence (seq2seq) network is a well-established model for text summarization task. It can learn to produce readable content; however, it falls short in effectively identifying key regions of the source. In this paper, we approach the content selection problem for clinical abstractive summarization by augmenting salient ontological terms into the summarizer. Our experiments on two publicly available clinical data sets (107,372 reports of MIMIC-CXR, and 3,366 reports of OpenI) show that our model statistically significantly boosts state-of-the-art results in terms of Rouge metrics (with improvements: 2.9% RG-1, 2.5% RG-2, 1.9% RG-L), in the healthcare domain where any range of improvement impacts patients' welfare.

연구 동기 및 목표

• 표준 seq2seq 모델이 영상의학 보고서의 중요한 정보를 식별하지 못하는 임상 적으로 개선된 요약 생성의 내용 선택 과제를 해결하기 위해.
• Findings 섹션의 가장 관련성이 높은 온톨로지 용어만 통합함으로써 임상적 의사결정에 핵심적인 역할을 하는 인상(Imprssion) 생성 품질을 향상시키기 위해.
• 중요한 온톨로지 용어를 사용해 단어 표현을 정교화하는 것이 모든 온톨로지 용어를 사용하는 것보다 요약 품질을 향상시키는지 평가하기 위해.
• 다른 임상 기관 및 데이터셋(MIMIC-CXR 및 OpenI) 간의 모델 이식성(transferability)을 평가하기 위해.
• 자동 평가 지표(ROUGE)와 전문가의 인간 평가(가독성, 정확성, 완전성)를 통해 모델 성능을 검증하기 위해.

제안 방법

• Findings에 포함된 각 용어가 중요한 온톨로지 용어이면서 인상에 직접 복사될 경우 1로 레이블링되는 단계 수준의 순서 태깅 작업으로 내용 선택을 설정한다.
• 각 단어의 복사 가능성 예측을 위해 BERT 임베딩을 양방향 LSTM 네트워크의 입력으로 사용하며, 이는 용어의 중요도를 대체 지표로 활용한다.
• 정확한 태깅 예측의 로그 가능도를 최대화하기 위해 교차 엔트로피 손실을 사용하여 내용 선택기 학습.
• 이러한 중요한 온톨로지 용어들을 요약 생성기 내부에 통합하기 위해, 이 용어들 전용 인코더를 통해 Findings의 단어 표현을 정교화한다.
• 표준 seq2seq 모델에 포인터-ジェ너레이터 어텐션을 적용하며, 디코더는 정교화된 Findings와 중요한 온톨로지 용어 양쪽에 주의를 기울인다.
• 훈련된 모델을 MIMIC-CXR 및 OpenI 데이터셋에 적용하여 ROUGE 및 전문가의 인간 평가를 통해 평가한다.

실험 결과

연구 질문

• RQ1 영상의학 보고서의 Findings에서 가장 중요한 온톨로지 용어만 식별하고 통합하면 요약 생성 성능이 향상되는가?
• RQ2 중요한 온톨로지 용어를 위한 전용 인코더를 사용해 단어 표현을 정교화하는 것이 모든 온톨로지 용어를 사용하는 것보다 더 나은 요약 품질을 이끌어내는가?
• RQ3 제안된 모델은 임상 요약 기준 평가 벤치마크에서 최신 기준 모델 대비 ROUGE 점수 측면에서 어떻게 비교되는가?
• RQ4 모델은 다양한 임상 기관 및 데이터셋 간에 얼마나 이식 가능한가?
• RQ5 전문가가 평가한 요약과 시스템이 생성한 요약 간에는 가독성, 정확성, 완전성 측면에서 어떤 차이가 있는가?

주요 결과

• 제안된 모델은 MIMIC-CXR 데이터셋에서 강력한 기준 모델 대비 ROUGE-1 점수 +2.9%, ROUGE-2 점수 +2.5%, ROUGE-L 점수 +1.9%의 절대적 향상을 달성하였다.
• 내용 선택기의 성능 향상은 통계적으로 유의미하며, ROUGE-1 및 ROUGE-2에 대해 대응 t-검정에서 p-value < 0.05를 기록하였다.
• OpenI 데이터셋에서도 최고 성능을 보인 추상적 요약 기준 모델을 뛰어넘는 유의미한 성능 향상을 보이며, 강력한 기관 간 이식성(transferability)을 입증하였다.
• 전문가 평가에서, 시스템이 생성한 인상 중 81%가 가독성, 정확성, 완전성 모든 항목에서 인간이 작성한 요약과 동일하거나 뛰어난 것으로 평가되었다.
• 가독성 항목에서 73%의 시스템 요약이 최고 점수(3점)를 기록하였으며, 정확성 항목은 71%, 완전성 항목은 62%로, 인간 수준의 성능을 보이며 중간 정도의 평가자 간 일致도(Fleiss’ Kappa: 47–52%)를 보였다.
• 모델의 성능은 데이터셋 간에 뚜렷하게 일관되며, ROUGE 지표 및 전문가 평가 결과 모두에서 지속적인 향상이 관찰되어 임상 현장에서의 실용적 유용성을 시사한다.