[논문 리뷰] Towards objectively evaluating the quality of generated medical summaries

Francesco Moramarco, Damir Jurić외 2명|arXiv (Cornell University)|2021. 04. 09.

Biomedical Text Mining and Ontologies인용 수 6

한 줄 요약

이 논문은 인간 평가자들이 의료 사실을 추출하고 비교함으로써 의료 텍스트 요약의 객관적 평가를 위한 사실 수세기 방법을 제안한다. 이 방법은 원시 수량에서 정밀도, 재현율, F-점수, 정확도를 계산한다. 사실의 세분화 수준에 차이가 있음에도 불구하고 유의미한 평가자 간 일치도를 보이며, 최적화된 BART-Med가 모든 지표에서 최고 점수를 기록하여 생성된 요약의 사실 일관성이 높고 환각 현상이 거의 없음을 시사한다.

ABSTRACT

We propose a method for evaluating the quality of generated text by asking evaluators to count facts, and computing precision, recall, f-score, and accuracy from the raw counts. We believe this approach leads to a more objective and easier to reproduce evaluation. We apply this to the task of medical report summarisation, where measuring objective quality and accuracy is of paramount importance.

연구 동기 및 목표

• 의료 텍스트 요약의 인간 평가 방법을 더 객관적이고 재현 가능하게 개선하여 품질 평가의 주관성을 줄이기.
• 의료 데이터셋을 재사용하여 최신 텍스트 요약 모델의 사실 정확성과 완전성을 중점적으로 평가하기.
• 기존 리커트 척도 평가에 비해 사실 수세기 기반 지표가 의료 NLG 평가에서 더 높은 평가자 간 일치도를 제공할 수 있는지 평가하기.
• 통제된 인간 평가 프로토콜을 사용하여 개재적 요약 모델과 추출적 요약 모델의 행동, 특히 환각 현상을 분석하기.

제안 방법

• 평가자는 생성된 요약에 포함된 의료 사실을 기준 기술과 비교하여 추출하도록 지시받으며, 사실 추출 표준화를 위해 두 가지 예시 기반 지침을 사용한다.
• 기준 사실 수(R), 생성된 사실 수(G), 정확히 식별된 사실 수(G&R)의 원시 수량을 바탕으로 정밀도, 재현율, F-점수, 정확도를 계산한다.
• 세 명의 일반의가 평가자로 참여한 Heartex Annotation Platform의 커스터마이징된 작업을 통해 평가를 수행한다.
• 평가자 간 일치도는 원시 사실 수량과 유도된 지표에 대해 크립펜트의 알파를 사용하여 측정하여 신뢰성 검증을 수행한다.
• 이 방법은 Lead-3(기준 모델), BERT-Ext(추출적), Pegasus-CNN(개재적), 최적화된 BART-Med(개재적)의 네 가지 모델에 적용된다.
• 사실의 세분화 수준에 따른 변동성과 그 유도 지표에 미치는 영향을 분석하기 위해 일치도 분석을 수행한다.

실험 결과

연구 질문

• RQ1 사실 수세기 접근 방식이 의료 텍스트 요약의 인간 평가에서 객관성과 재현성을 향상시킬 수 있는가?
• RQ2 정밀도 및 F-점수와 같은 유도 지표와 원시 사실 수량 간 평가자 간 일치도는 어떻게 달라지는가?
• RQ3 최신 요약 모델, 특히 개재적 모델이 의료 사실을 얼마나 잘 환각하지 않는가?
• RQ4 평가자가 사실 선택 시 사용하는 세분화 수준이 평가 지표의 신뢰성에 상당한 영향을 미치는가?

주요 결과

• MTSamples 데이터셋으로 미세조정된 BART-Med 모델이 모든 평가자에게서 가장 높은 F-점수(0.72), 정밀도(0.77), 재현율(0.70), 정확도(1.0)를 기록했다.
• 모든 네 모델이 거의 완벽한 정확도(1.0)를 기록하여 환각 현상이 극히 적음을 시사했으며, Pegasus-CNN는 생성된 기술에서 한 개의 수치 오류를 기록했다.
• 기준 사실에 대한 원시 수량에 대해 낮은 일치도(크립펜트의 알파 = 0.25)를 보였지만, F-점수와 같은 유도 지표는 높은 일치도(알파 = 0.89)를 보여, 세분화 수준의 차이에 대해 강건함을 입증했다.
• 평가자들은 사실 추출의 세분화 수준에서 차이를 보였으며, 한 평가자(E3)는 다른 평가자들보다 덜 세분화된 방식을 사용했지만, 모든 평가자가 유도 지표로 측정된 요약의 총체적 품질에 대해 일치된 평가를 내렸다.
• 일관성에 대한 일치도는 클래스 불균형으로 인해 낮았지만(알파 = 0.40), 82.5%의 경우에서 전원이 일치된 것으로 평가되어 대부분의 경우에서 일관성에 대해 강력한 공감대가 있음을 시사했다.
• 사실 수세기 방법은 사실 수준의 일관성 부족에도 불구하고 신뢰할 수 있고 객관적인 평가를 가능하게 하여, 재현 가능한 의료 NLG 평가에 적합하다.