[논문 리뷰] Optimizing the Factual Correctness of a Summary: A Study of Summarizing Radiology Reports

Yuhao Zhang, Derek Merck외 3명|arXiv (Cornell University)|2019. 11. 06.

Topic Modeling참고 문헌 35인용 수 7

한 줄 요약

이 논문은 사실 일致성 보상과 ROUGE, 언어 모델링 목적함수를 결합하여 신경 추상적 요약 모델의 사실 정확도를 최적화하는 강화학습 프레임워크를 제안한다. 병원 영상의학 기록에 적용된 결과, 기준 모델 대비 사실 오류가 30% 감소하여 사실 정확도가 크게 향상되었고, 인간 평가에서 인간이 작성한 요약과 거의 구분되지 않는 요약을 생성하였다.

ABSTRACT

Neural abstractive summarization models are able to generate summaries which have high overlap with human references. However, existing models are not optimized for factual correctness, a critical metric in real-world applications. In this work, we develop a general framework where we evaluate the factual correctness of a generated summary by fact-checking it automatically against its reference using an information extraction module. We further propose a training strategy which optimizes a neural summarization model with a factual correctness reward via reinforcement learning. We apply the proposed method to the summarization of radiology reports, where factual correctness is a key requirement. On two separate datasets collected from hospitals, we show via both automatic and human evaluation that the proposed approach substantially improves the factual correctness and overall quality of outputs over a competitive neural summarization system, producing radiology summaries that approach the quality of human-authored ones.

연구 동기 및 목표

• 신경 추상적 요약에서의 사실 오류라는 핵심 문제를 해결하기 위해, 정확도가 필수적인 고위험 분야인 영상의학 분야에서 특히 중요시된다.
• 정보 추출을 통한 자동 사실 확인을 통합하여 일반화 가능한 프레임워크를 개발한다.
• 텍스트 겹침(예: ROUGE)뿐만 아니라 강화학습을 활용한 사실 일치성 최적화를 통해 요약 모델을 최적화한다.
• 다양한 병원에서의 실제 영상의학 기록 데이터셋을 대상으로 이 방법의 효과성을 평가한다.
• 향상된 사실 정확도가 임상적으로 타당하고 인간이 작성한 요약 수준에 가까운 요약을 이끌어내는지 입증한다.

제안 방법

• 외부 정보 추출(IE) 모듈이 참조 요약과 모델이 생성한 요약에서 사실을 추출하여 사실 정확도를 측정한다.
• 다중목표 강화학습(RL) 학습 전략이 사실 정확도 보상, ROUGE 기반 겹침, 언어 모델링 손실을 동시에 최적화한다.
• 사실 정확도 보상은 생성된 요약에서 추출한 사실을 금본 참조 요약과 비교하여 규칙 기반 IE 시스템을 사용해 계산한다.
• 정책 기반 강화학습 방법(예: PPO)을 통해 복합 목적함수를 최대화하여 사실 일치성을 향상시킨다.
• 이 방법은 두 개의 별개 병원 영상의학 기록 데이터셋에 맞추어 미세조정된 경쟁적 순서-순서 요약 모델에 적용된다.
• 독립된 도메인 내 언어 모델을 훈련시켜 유창성과 스타일을 평가하고, 퍼즐리티를 측정하여 생성된 요약의 인간 유사성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 사실 정확도를 보상으로 포함하는 강화학습 프레임워크가 추상적 요약에서 사실 오류를 크게 줄일 수 있는가?
• RQ2 사실 정확도 최적화가 영상의학 기록 요약의 임상적 타당성과 인간 유사성 향상에 기여하는가?
• RQ3 ROUGE 기반 최적화만으로도 사실 정확도가 향상되는가, 특히 명시적 사실 보상 없이도?
• RQ4 사용된 방법이 사실 정확도, 유창성, 스타일 일관성 측면에서 강력한 기준 모델 대비 어떻게 비교되는가?
• RQ5 영상의학과 같이 낮은 애매성 영역에서 정보 추출을 통한 자동 사실 확인이 더 신뢰할 수 있는 요약 모델을 훈련시키는 데 효과적으로 활용될 수 있는가?

주요 결과

• 사실 정확도 보상이 포함된 제안된 RL 기반 방법(RL_R+C)은 강력한 기준 모델 대비 약 30%의 사실 오류 감소를 기록하여 사실 정확도가 크게 향상되었다.
• 인간 평가 결과, 제안된 방법으로 생성된 요약은 기준 출력 대비 사실 정확도와 종합 품질 측면에서 선호되었으며, 인간이 작성한 요약 수준의 점수에 근접하였다.
• 사실 정확도 보상을 적용한 모델는 테스트 세트에서 인간 기준과 유사한 퍼즐리티 점수(152.3)를 기록한 반면, 기준 모델은 168.4로 더 높아, 더 우수한 유창성과 스타일 일관성을 보였다.
• 사실 정확도 보상 없이도 ROUGE 최적화를 통해 강화학습를 수행했을 경우, 최대 우도 학습 대비 사실 정확도 향상이 뚜렷하게 관찰되어, ROUGE 최적화가 사실 일치성 향상에 간접적으로 기여하는 것으로 나타났다.
• 기준 모델의 상위 10개의 자주 반복되는 트리그램 중 일부는 매우 높은 빈도로 재사용되었으며(예: 'no significant interval change'는 출력의 34%에서 등장), 반면 제안된 방법은 더 다양한 인간 유사 요약을 생성하였다.
• 규칙 기반 IE 시스템은 흔히 발생하는 핵심 사실 오류(예: 기저귀의 존재/부재 오류)를 성공적으로 식별하여 효과적인 사실 확인과 보상 형성에 기여하였다.