[논문 리뷰] QuestEval: Summarization Asks for Fact-based Evaluation

Thomas Scialom, Paul-Alexis Dray외 5명|arXiv (Cornell University)|2021. 03. 23.

Topic Modeling참고 문헌 35인용 수 25

한 줄 요약

QuestEval은 골드 참조가 필요 없는 요약 평가 지표로, QA 기반 신호와 질문 가중 생성기를 통해 정밀도와 재현(리콜) 기반 신호를 통합하여 인간 판단과의 상관관계를 gold references 없이 더 높게 얻는다.

ABSTRACT

Summarization evaluation remains an open research problem: current metrics such as ROUGE are known to be limited and to correlate poorly with human judgments. To alleviate this issue, recent work has proposed evaluation metrics which rely on question answering models to assess whether a summary contains all the relevant information in its source document. Though promising, the proposed approaches have so far failed to correlate better than ROUGE with human judgments. In this paper, we extend previous approaches and propose a unified framework, named QuestEval. In contrast to established metrics such as ROUGE or BERTScore, QuestEval does not require any ground-truth reference. Nonetheless, QuestEval substantially improves the correlation with human judgments over four evaluation dimensions (consistency, coherence, fluency, and relevance), as shown in the extensive experiments we report.

연구 동기 및 목표

• 요약 평가에서 ROUGE와 같은 n-그램 지표의 한계를 해결한다.
• 여러 차원에 걸쳐 인간 판단과 더 잘 상관하는 ground-truth가 없는 지표를 개발한다.
• 정밀도(QA 기반) 평가와 재현(QA 기반) 평가를 통합하고 중요한 정보를 포착하기 위해 학습된 질문 가중치를 도입한다.
• CNN/Daily Mail 및 XSUM 데이터셋에서 사실적 일관성을 포함하여 인간 판단과의 강한 상관관계를 시연한다.
• 참조 요약이 필요하지 않은 설명 가능한 평가 프레임워크를 제공한다.

제안 방법

• QuestEval를 제안한다. 원천(source)과 함께하는 정밀도(QG/QA) 신호와 원천을 가중한 재현(QG/QA with source) 신호를 결합한 통합 QA 기반 프레임워크.
• 소스와 요약에서 생성된 질문에 대답하기 위해 사전 학습된 T5 기반 QA 모델을 사용하되, 대답 불가능한 토큰 epsilon을 포함한다.
• 답 후보에 조건화된 소스 또는 요약으로부터 QG 모델(T5 기반)을 사용해 질문을 생성하고, QA 모델이 올바르게 대답한 질문만 남긴다.
• 재현에 중요한 질문의 우선순위를 두기 위해 학습된 질문 가중기 W를 도입하고, 요약에 답이 포함되는지 여부로 학습한다.
• 정밀도는 소스에서 QA가 예측한 답과 정답과의 F1 중첩으로 계산하고, 재현은 가중된 답 가능성 인식 지표를 통해 계산한다.
• 참조 없이 정밀도와 재현을 조화 평균(F1)으로 통합하여 QuestEval 점수를 산출한다.

실험 결과

연구 질문

• RQ1 참조가 없는 QA 기반 평가가 참조 기반 지표보다 요약의 사실적 일관성과 정보의 중요성을 더 잘 포착할 수 있는가?
• RQ2 정밀도와 재현 QA 신호를 통합하고 학습된 질문 가중치를 도입하면 일관성, 응집성, 유창성, 관련성에 대한 인간 판단과의 일치도가 향상되는가?
• RQ3 QuestEval은 ROUGE, BLEU, METEOR, BERTScore 및 기존 QA 기반 지표와 비교해 CNN/Daily Mail 및 XSUM 데이터셋에서 어떻게 성능을 보이는가?
• RQ4 QuestEval은 다양한 참조 수에 대해 견고하며 골드 참조가 없을 때도 시스템을 평가할 수 있는가?

주요 결과

지표	일관성	응집성	유창성	관련성	평균
ROUGE-1 (11 refs)	18.1	20.1	14.9	35.6	22.2
ROUGE-L (11 refs)	15.7	15.6	13.8	33.4	19.6
METEOR (11 refs)	3.3	2.9	7.1	-	3.2
BLEU (11 refs)	17.5	22.0	13.7	35.6	22.2
BERTScore-f (11 refs)	20.3	18.5	21.6	31.9	23.1
SummaQA (QA recall baseline)	8.3	8.0	-2.9	26.2	9.9
QAGS (QA precision baseline)	20.4	7.7	16.8	9.1	13.7
QuestEval W=uniform)	43.7	22.9	28.2	37.5	33.1
w/o QA neg sampl.	42.5	22.5	27.7	37.2	32.4
QuestEval W=learned)	42.0	24.0	28.4	39.2	33.5
Precision Only	46.5	14.0	30.9	22.2	28.4
Recall Only	30.5	22.6	19.2	37.6	27.5

• QuestEval은 일관성, 응집성, 유창성, 관련성에 대해 인간 판단과의 상관관계를 기존의 기준 지표보다 현저히 향상시킨다.
• 학습된 질문 가중기를 사용한 정밀도-재현의 통합 접근은 SummaQA 및 QAGS보다 평균 상관도가 높고, 학습된 가중치는 관련성 향상에 기여한다.
• QuestEval은 참조가 없어도 강력한 성능을 유지하며 단일 참조만 있는 경우에도 참조 기반 메트릭보다 참조가 부족할 때 우수한 성능을 보인다.
• QA 학습에서 음수 샘플링을 도입하면 대답 불가능한 질문 식별과 환각 감소에 특히 도움이 된다.
• 프레임워크는 어떤 질문이 중요하고 어떤 질문이 대답되었는지 보여주며, 요약의 사실적 격차와 불일치를 부각시키는 설명 가능성을 제공한다.