[논문 리뷰] Question Answering as an Automatic Evaluation Metric for News Article Summarization

Matan Eyal, Tal Baumel외 1명|arXiv (Cornell University)|2019. 06. 02.

Topic Modeling참고 문헌 32인용 수 4

한 줄 요약

이 논문은 뉴스 기사 요약의 외부 평가 지표인 APES를 소개한다. APES는 사전 훈련된 질문-답변 모델을 사용하여 핵심 개체에 대한 질문을 요약이 얼마나 잘 해결하는지 측정한다. 이 방법은 수동 평가 지표와 더 높은 상관관계를 보이며, ROUGE보다 우수하다. APES를 최적화한 개통적 요약 모델은 APES 점수를 46.1에서 39.8로 향상시키며, ROUGE 점수 역시 향상시켜, APES가 ROUGE만으로는 도달할 수 없는 효과적인 요약 훈련을 이끌 수 있음을 보여준다.

ABSTRACT

Recent work in the field of automatic summarization and headline generation focuses on maximizing ROUGE scores for various news datasets. We present an alternative, extrinsic, evaluation metric for this task, Answering Performance for Evaluation of Summaries. APES utilizes recent progress in the field of reading-comprehension to quantify the ability of a summary to answer a set of manually created questions regarding central entities in the source article. We first analyze the strength of this metric by comparing it to known manual evaluation metrics. We then present an end-to-end neural abstractive model that maximizes APES, while increasing ROUGE scores to competitive results.

연구 동기 및 목표

• ROUGE가 단일 기준 요약 데이터셋에서 가지는 한계를 해결하기 위해 더 견고한 외부 평가 지표를 제안하는 것.
• 핵심 개체에 대한 질문-답변 성능이 요약 품질에 대한 인간 평가와 상관관계가 있는지 평가하는 것.
• APES를 직접 최적화하는 개통적 요약 모델을 개발하여 APES와 ROUGE 점수를 모두 향상시키는 것.
• ROUGE가 단지 개체 존재 여부를 감지하는 데 그치는 것과는 달리, APES가 일관성과 의미 정확성을 얼마나 잘 포착하는지 검증하는 것.
• 강화 학습이나 복잡한 보상 설계에 의존하지 않고도 APES가 효과적인 요약 훈련을 이끌 수 있음을 보여주는 것.

제안 방법

• APES는 핵심 개체에 대한 수동으로 생성된 질문 중 요약이 얼마나 잘 답하는지를 측정함으로써 요약을 평가한다.
• 질문은 기준 요약에서 유도되며 중심 명사 개체를 중심으로 하여 핵심 콘텐츠와 일치하도록 한다.
• 사전 훈련된 독해 모델을 사용하여 요약 기반으로 질문에 답하며, 성능은 올바르게 답한 질문의 비율로 측정된다.
• 개통적 순서-순서 모델은 소스 문서의 핵심 개체에 더 강하게 집중함으로써 APES를 최대화하도록 훈련된다.
• 모델은 주로 핵심 개체에 초점을 맞추는 어텐션 메커니즘을 사용하며, 금본 레이블에 의존하지 않고 학습된 모듈을 통해 개체의 중요도를 예측한다.
• 자동 평가 지표(ROUGE)와 수동 평가(Pyramid, Responsiveness)를 모두 사용하여 CNN/Daily Mail 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 APES는 ROUGE보다 수동 평가 지표인 Pyramid와 Responsiveness와 더 강한 상관관계를 보이는가?
• RQ2 APES를 최적화한 개통적 요약 모델은 APES 자체 점수를 향상시키면서도 경쟁력 있는 ROUGE 점수를 달성할 수 있는가?
• RQ3 APES는 일관성과 의미적 구조에 민감한가, 아니면 단지 명사 개체의 존재 여부만 감지하는가?
• RQ4 모델이 예측한 중요도 점수가 금본 개체 위치를 사용할 때보다 주의 집중을 얼마나 효과적으로 이끄는가?
• RQ5 APES에서 사용하는 QA 시스템은 충분한 성능을 내어 평가에 신뢰성 있고 실현 가능하게 만드는가?

주요 결과

• APES는 수동 평가 지표, 특히 Pyramid와 Responsiveness와 강한 상관관계를 보이며, 이와 관련하여 ROUGE를 능가한다.
• APES를 최적화한 모델은 테스트 세트에서 APES 점수를 46.1로 기록하여 기준 모델의 39.8보다 뚜렷이 높게 나타났다.
• 모델은 ROUGE-1, ROUGE-2, ROUGE-L 전반에 걸쳐 약 1 F1 포인트의 향상을 기록하여, APES 최적화가 내재적 성능과 외재적 성능을 모두 향상시킨다는 것을 입증했다.
• QA 시스템은 CNN과 Daily Mail에서 각각 72.4%와 75.8%의 높은 성능을 기록하여, 지표가 평가에 실현 가능하고 신뢰할 수 있음을 확인했다.
• 금본 요약을 무작위로 섞은 경우 APES 점수는 뿐만 아니라, APES는 일관성 상실과 의미 손실을 징벌함을 보여주며, ROUGE는 이러한 문제를 감지하지 못한다는 점을 입증한다.
• 금본 핵심 개체 위치를 오라클 입력으로 사용할 경우, 점수는 46.3으로 약간 향상되었을 뿐이며, 이는 모델의 중요도 예측이 효과적이고 충분히 높은 성능을 내기 위한 데 유의미하다는 것을 시사한다.