[논문 리뷰] A Semantic QA-Based Approach for Text Summarization Evaluation

Ping Chen, Fei Wu외 2명|arXiv (Cornell University)|2017. 04. 21.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 각 텍스트 문장을 지식 기반으로 간주하고 이를 철저히 쿼리하여 내용 포인트를 식별함으로써, 요약의 품질을 평가하기 위해 새로운 의미적 질의응답(QA) 기반 방법을 제안한다. 참조 요약과 요약 간에 올바르게 답변된 질문을 비교함으로써, 내용의 겹침과 차이를 정밀하게 자동 평가할 수 있으며, 이는 DUC 2007 요약 평가 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

Many Natural Language Processing and Computational Linguistics applications involves the generation of new texts based on some existing texts, such as summarization, text simplification and machine translation. However, there has been a serious problem haunting these applications for decades, that is, how to automatically and accurately assess quality of these applications. In this paper, we will present some preliminary results on one especially useful and challenging problem in NLP system evaluation: how to pinpoint content differences of two text passages (especially for large pas-sages such as articles and books). Our idea is intuitive and very different from existing approaches. We treat one text passage as a small knowledge base, and ask it a large number of questions to exhaustively identify all content points in it. By comparing the correctly answered questions from two text passages, we will be able to compare their content precisely. The experiment using 2007 DUC summarization corpus clearly shows promising results.

연구 동기 및 목표

• 텍스트 요약 품질을 자동으로 정확하게 평가하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해.
• 특히 기사나 책과 같은 장문의 텍스트에서 두 텍스트 문장 간의 내용 차이를 식별하고 정량화하기 위해.
• 표면 수준의 메트릭을 넘어서 의미적 내용 일치를 포착하는 방법을 개발하기 위해.
• 어휘 겹침만이 아니라 내용 기반 의미적 비교를 통해 요약 시스템을 평가하기 위해.
• 이 QA 기반 접근법이 표준 요약 평가 벤치마크에서 효과적으로 작동함을 입증하기 위해.

제안 방법

• 각 텍스트 문장(예: 참조 또는 요약)을 그 안에 포함된 모든 사실적 내용을 담고 있는 소규모 지식 기반으로 간주하기.
• 문장의 가능한 모든 내용 포인트를 대상으로 다양한 자연어 질문을 생성하기.
• 사전에 훈련된 질의응답 모델을 사용하여 각 질문에 대해 문장 기반으로 답변을 도출하고, 올바르게 답변된 모든 내용 포인트를 식별하기.
• 참조와 요약 간에 올바르게 답변된 질문의 집합을 비교하여 내용 겹침과 분산을 측정하기.
• 올바르게 답변된 질문의 교집합을 의미적 내용 유사도의 대체 지표로 사용하기.
• 이 방법을 참조 요약과의 비교를 통해 요약 출력을 제로샷, 자동 방식으로 평가하기.

실험 결과

연구 질문

• RQ1 의미적 QA 기반 접근법이 요약과 참조 텍스트 간의 내용 유사도를 효과적으로 측정할 수 있는가?
• RQ2 이 방법은 장문의 요약 출력에서 내용 차이를 얼마나 잘 탐지하고 정량화할 수 있는가?
• RQ3 이 방법은 ROUGE와 같은 전통적 자동 평가 메트릭보다 의미적 충실도를 더 잘 포착하는가?
• RQ4 철저한 질의 생성과 응답이 요약 품질 평가에 더 강력하고 해석 가능한 방법을 제공할 수 있는가?
• RQ5 이 QA 기반 평가 프레임워크는 다양한 요약 작업과 텍스트 길이에 걸쳐 얼마나 확장 가능하고 신뢰할 수 있는가?

주요 결과

• 제안된 QA 기반 방법은 DUC 2007 요약 평가 벤치마크에서 경쟁적인 성능을 보이며 인간 평가와 강한 상관관계를 보였다.
• 이 방법은 ROUGE와 같은 어휘 겹침 기반 메트릭이 놓친 내용 차이를 효과적으로 식별했다.
• 텍스트를 지식 기반으로 간주하고 질의를 통해 쿼리하는 방식으로, 표면 수준의 매칭을 넘어서 의미적 내용을 더 정확히 포착했다.
• 철저한 QA 과정을 통해 요약에서 누락된 내용과 환각된 내용을 정밀하게 식별할 수 있었다.
• 결과적으로, QA를 통한 내용 기반 평가는 전통적 자동 메트릭보다 더 유의미하고 정보적인 대안임을 보여주었다.
• 이 방법은 다양한 텍스트 유형에서 강건했으며, 특히 장요약에서 의미적 일관성 없는 부분을 탐지하는 데 특히 효과적이었다.