[논문 리뷰] Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary

Daniel Deutsch, Tania Bedrax-Weiss외 1명|arXiv (Cornell University)|2020. 10. 01.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 질문-답변 기반 방법을 사용하여 후보 요약과 기준 요약 간의 정보 겹침을 측정함으로써 요약의 내용 품질을 평가하는 새로운 자동 평가 지표인 QAEval을 제안한다. 기준 요약에서 질문을 생성하고 후보 요약이 이를 얼마나 정확히 답변하는지 평가함으로써 사실 정보의 일치도를 직접 측정한다. 이는 기존의 평가 지표를 능가하며 인간 평가 기준인 Pyramid Method와의 상관관계에서도 뛰어나다.

ABSTRACT

A desirable property of a reference-based evaluation metric that measures the content quality of a summary is that it should estimate how much information that summary has in common with a reference. Traditional text overlap based metrics such as ROUGE fail to achieve this because they are limited to matching tokens, either lexically or via embeddings. In this work, we propose a metric to evaluate the content quality of a summary using question-answering (QA). QA-based methods directly measure a summary's information overlap with a reference, making them fundamentally different than text overlap metrics. We demonstrate the experimental benefits of QA-based metrics through an analysis of our proposed metric, QAEval. QAEval out-performs current state-of-the-art metrics on most evaluations using benchmark datasets, while being competitive on others due to limitations of state-of-the-art models. Through a careful analysis of each component of QAEval, we identify its performance bottlenecks and estimate that its potential upper-bound performance surpasses all other automatic metrics, approaching that of the gold-standard Pyramid Method.

연구 동기 및 목표

• ROUGE와 같이 어휘적 또는 임베딩 유사도에 의존하는 텍스트 겹침 기반 평가 지표의 한계를 해결하기 위해, 진정한 정보 겹침을 포착하지 못하는 문제를 해결하고자 한다.
• 요약과 기준 간에 얼마나 많은 사실 정보를 공유하는지 직접 측정할 수 있는 보다 정확한 자동 평가 지표를 개발하고자 한다.
• 질문-답변 프레임워크가 기존의 ROUGE 스타일 평가 지표에 대체로 정보 중심적인 강력한 대안이 될 수 있는지 조사하고자 한다.
• QA 파이프라인 내 성능 저하 요인을 특정하고, 이러한 지표의 최상한 성능 잠재력을 추정하고자 한다.

제안 방법

• 사전 훈련된 질문 생성 모델을 사용하여 기준 요약에서 질문-답안 쌍을 생성한다.
• 질문-답변 모델을 사용하여 후보 요약을 바탕으로 질문에 대한 답변을 예측한다.
• 후보 요약이 정답으로 올바르게 답변한 질문의 비율을 내용 품질 점수로 계산한다.
• 예측된 답변을 실제 답변과 대조하여 평가 과정에서 사실의 정확성을 확보한다.
• 다양한 기준 요약에 대한 점수를 집계하여 시스템 수준의 성능을 평가한다.
• 인간 수준의 QA 및 답변 검증 능력을 가정함으로써 QAEval의 최상한 성능을 추정한다.

실험 결과

연구 질문

• RQ1 질문-답변 프레임워크는 ROUGE나 BERTScore와 같은 전통적인 텍스트 겹침 기반 평가 지표보다 더 정확한 정보 겹침 측정을 제공할 수 있는가?
• RQ2 기준 요약 데이터셋에서 QAEval은 최신 자동 평가 지표와 황금 표준인 Pyramid Method에 비해 어떻게 성능을 발휘하는가?
• RQ3 QAEval 파이프라인의 어떤 구성 요소가 주요 성능 저하 요인인지, 그리고 인간 평가와의 상관관계에 어떤 영향을 미치는가?
• RQ4 QA 및 답변 검증 구성 요소가 완벽하게 작동할 경우 QAEval의 최상한 성능은 어떠한가?
• RQ5 QAEval은 다양한 요약 시스템과 요약 유형에 대해 잘 일반화되는가?

주요 결과

• 기준 요약 데이터셋에서 요약 시스템 평가 시 QAEval은 인간 평가와의 상관관계에서 ROUGE, BERTScore, MoverScore를 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• 개별 요약 순위 매기기에서 QAEval은 기준 요약과 매우 유사한 요약에 대해서는 다른 지표와 동일하거나 더 나은 성능을 보이나, 일부 요약에 대해서는 모델 한계로 인해 약간 뒤처진다.
• QA 모델과 답변 검증이 주요 성능 저하 요인으로 규명되었으며, 이는 전체 정확도를 제한하는 노이즈를 유발한다.
• 인간 수준의 QA 및 답변 검증 능력을 가정할 경우, QAEval의 최상한 요약 수준 상관관계는 모든 다른 자동 평가 지표를 초월하며 황금 표준인 Pyramid Method에 가까워진다.
• 결과적으로 질문-답변 기반 지표는 향후 자동 요약 평가 분야에서 매우 유망한 방향성을 보여준다.