[논문 리뷰] Sensitivity of BLANC to human-scored qualities of text summaries

Oleg Vasilyev, Vedant Dharnidharka외 3명|arXiv (Cornell University)|2020. 10. 13.

Topic Modeling참고 문헌 15인용 수 6

한 줄 요약

이 논문은 블랑(BLANC)이라는 텍스트 요약 품질을 평가하는 자동화된 지표의 성능을 평가하며, 인간 평가자가 평가한 다섯 가지 품질—유창성, 이해 가능성, 정보성, 압축성, 사실적 정확성—에 대한 민감도를 검토한다. 300개의 요약-문서 쌍에 대한 인간 주석을 바탕으로 한 연구에서, 최적의 파rameter를 가진 BLANC(특히 마스킹 빈도 M=2)가 인간 평가자 수준의 상관관계를 달성하는 것으로 나타났다. 다만 사실 오류에 대해서는 약한 민감도를 보이며, 오류 수와의 상관관계는 스피어만 상관계수 기준 -0.14에 머물렀다.

ABSTRACT

We explore the sensitivity of a document summary quality estimator, BLANC, to human assessment of qualities for the same summaries. In our human evaluations, we distinguish five summary qualities, defined by how fluent, understandable, informative, compact, and factually correct the summary is. We make the case for optimal BLANC parameters, at which the BLANC sensitivity to almost all of summary qualities is about as good as the sensitivity of a human annotator.

연구 동기 및 목표

• BLANC이라는 자동 요약 품질 지표가 요약 품질의 다양한 차원에 대해 인간 평가와 얼마나 잘 상관되는지 평가하는 것.
• 유창성, 정보성, 사실 정확성 등의 인간 평가 품질에 대해 민감도를 극대화하는 최적의 BLANC 파rameter를 규명하는 것.
• 이상치 지표인 로그릿(logits), 확률(probabilities), 또는 로그 확률(log probabilities)을 기반으로 한 BLANC의 변형이 인간 점수와의 상관관계를 향상시키는지 평가하는 것.
• BLANC이 사실 오류 탐지 능력에 한계를 보이는 이유를 조사하는 것, 이는 자동 평가에서 핵심 과제이기 때문이다.
• 인간 주석 기반 요약 품질 평가 점수를 바탕으로 검증되고 재현 가능한 블랑(BLANC)의 벤치마크를 제공하는 것.

제안 방법

• BLANC는 사전 학습된 BERT 모델을 사용하여 요약을 컨텍스트로 사용할 때와 채우기 문자열(filler string)을 사용할 때의 마스킹 토큰 예측 정확도 향상을 비교함.
• 지표는 $BLANC = (N_{help} - N_{base}) / N_{total}$ 로 정의되며, 여기서 $N_{help}$는 요약을 사용했을 때의 정확한 예측 수, $N_{base}$는 요약 없이 사용했을 때의 정확한 예측 수, $N_{total}$은 전체 마스킹 토큰 수이다.
• 마스킹은 매 M번째 토큰마다 수행되며, M=2 또는 M=6이며, 정지어(stop words)나 불완전한 서브워드를 마스킹하지 않도록 토큰 길이 및 분할 조건을 적용함.
• 인간 평가에서는 10명의 평가자가 300개의 요약-문서 쌍에 대해 5점 척도(유창성, 이해 가능성, 정보성, 압축성, 사실 정확성)로 평가함.
• 이중 BLANC의 변형은 이진 정확도 대신 정확한 토큰의 로그릿, 확률, 또는 로그 확률을 사용하여 테스트함.
• CNN/Daily Mail 요약에 실체 교체(entity swapping)를 통해 인위적인 사실 오류를 도입하여 BLANC의 사실 정확성에 대한 민감도를 시험함.

실험 결과

연구 질문

• RQ1 BLANC은 인간 평가 요약 품질(예: 유창성, 정보성, 사실 정확성)에 대해 얼마나 민감한가?
• RQ2 마스킹 빈도 M 등 BLANC의 파rameter 설정은 인간 평가와의 상관관계를 극대화하는 데 어떤가?
• RQ3 모델의 신뢰도 점수(로그릿, 확률)를 기반으로 한 BLANC의 변형은 인간 평가 점수와의 상관관계를 향상시키는가?
• RQ4 BLANC은 인간 평가자와 비교해 요약의 사실 오류를 얼마나 잘 탐지하는가?
• RQ5 BLANC은 여러 차원의 요약 품질에 대해 인간 수준의 민감도를 달성할 수 있는가?

주요 결과

• 마스킹 간격 M=2로 설정한 BLANC가 인간 평가와 가장 높은 상관관계를 보였으며, M=6보다 특히 종합 품질과 유창성에서 뛰어난 성능을 보였다.
• BLANC(M=2)와 종합 인간 평가 점수 사이의 상관계수는 뉴스 요약 기준 0.372(Pearson), CNN/Daily Mail 요약 기준 0.222(Pearson)였다.
• BLANC는 유창성과 종합 품질에 대해 강한 민감도를 보였으며, 인간 평가자 간 상관계수 수준과 유사한 상관관계를 보였다.
• BLANC의 사실 정확성에 대한 민감도는 약했으며, 인간 주석 기반 오류 수와의 상관계수는 -0.14(Spearman)에 머물러 사실 오류 탐지 능력이 제한적임을 시사했다.
• 인위적 오류 실험에서 BLANC(M=2)는 실체 교체가 일어난 경우 점수가 올바르게 낮아진 경우가 56%에 불과했고, 32%의 경우 점수가 증가하는 등 사실 오류에 대해 일관되지 않은 반응을 보였다.
• 로그릿 또는 확률을 사용한 BLANC의 변형은 약간 낮거나 유사한 성능을 보였으며, 로그릿 기반 변형이 가장 우수한 대안 상관계수(0.222, CNN/Daily Mail 기준)를 기록하여 향후 개선 가능성을 시사했다.