[논문 리뷰] Answers Unite! Unsupervised Metrics for Reinforced Summarization Models

Thomas Scialom, Sylvain Lamprier외 2명|arXiv (Cornell University)|2019. 09. 04.

Topic Modeling참고 문헌 23인용 수 10

한 줄 요약

이 논문은 강화학습 기반의 개괄적 요약 모델을 평가하고 훈련하기 위해 참조 요약문이 필요 없는 비지도 질문응답(QA) 기반 메트릭을 제안한다. 이 방법은 도메인 내 및 도메인 외의 레이블이 없는 텍스트를 자기지도 방식으로 활용하여 최신의 ROUGE 점수를 달성하고 인간 평가 결과에서도 특히 관련성과 독해성 면에서 뛰어난 성능을 보인다.

ABSTRACT

Abstractive summarization approaches based on Reinforcement Learning (RL) have recently been proposed to overcome classical likelihood maximization. RL enables to consider complex, possibly non-differentiable, metrics that globally assess the quality and relevance of the generated outputs. ROUGE, the most used summarization metric, is known to suffer from bias towards lexical similarity as well as from suboptimal accounting for fluency and readability of the generated abstracts. We thus explore and propose alternative evaluation measures: the reported human-evaluation analysis shows that the proposed metrics, based on Question Answering, favorably compares to ROUGE -- with the additional property of not requiring reference summaries. Training a RL-based model on these metrics leads to improvements (both in terms of human or automated metrics) over current approaches that use ROUGE as a reward.

연구 동기 및 목표

• 요약 평가에서 어휘 유사성에 치우친 ROUGE의 한계를 해결하기 위해 어순과 독해성에 더 잘 반영하는 평가 방법을 개발한다.
• 인간이 작성한 参考 요약문이 필요 없는 비지도 평가 메트릭을 개발하여, 레이블이 없는 텍스트로도 널리 적용할 수 있도록 한다.
• 새로운 메트릭을 사용해 강화학습 기반 요약 모델을 훈련시켜 자동 평가 및 인간 평가 점수를 모두 향상시킨다.
• 제안된 QA 기반 메트릭을 활용해 도메인 내 및 도메인 외의 원시 텍스트를 자기지도로 미리 훈련시키는 효과를 조사한다.
• 동일한 강화학습 훈련 설정 하에서 다양한 요약 아키텍처의 성능을 새로운 메트릭을 통해 비교한다.

제안 방법

• 입력 텍스트에서 자동으로 질문을 생성하고, 모델의 요약문에서 답변을 추출하는 질문응답 기반 평가 메트릭을 제안한다.
• 요약 품질의 대체 지표로 QA 기반 F1 점수(QA F1)를 계산하며, 이는 입력 문서에서 유도된 질문에 대해 생성된 요약이 얼마나 잘 답하는지를 측정한다.
• 모델의 답변에 대한 확신도를 평가하는 신뢰도 기반 메트릭(QA conf)을 도입하여 강화학습 훈련의 보상 신호를 개선한다.
• ROUGE를 대체하거나 보완하는 QA 기반 메트릭을 주 보상으로 사용해 추상적 요약 모델을 강화학습으로 훈련시킨다.
• 훈련 설정에서 도메인 내(테스트 세트와 동일한 분포) 및 도메인 외(예: TL;DR) 데이터를 사용해 비지도 피니팅을 수행한다.
• ROUGE-L과 QA F1을 결합한 이중 손실 훈련 목표를 도입하여 n-그램 재현율과 사실 일관성을 균형 잡히게 하며, 최적의 가중치를 위한 학습 가능한 계수를 사용한다.

실험 결과

연구 질문

• RQ1 QA 기반 메트릭은 ROUGE의 참조 요약문이 없는 효과적인 대체 방법이 될 수 있는가?
• RQ2 QA 기반 메트릭을 사용해 요약 모델을 훈련시키면 자동 평가(ROUGE) 및 인간 평가 메트릭 모두에서 성능 향상이 이루어지는가?
• RQ3 QA 기반 보상에 의해 이끌리는 도메인 내 및 도메인 외의 레이블이 없는 텍스트를 사용한 자기지도 미세조정은 얼마나 효과적인가?
• RQ4 제안된 메트릭은 인간 평가의 관련성과 독해성 판단을 예측하는 데 얼마나 잘 작동하는가?
• RQ5 See 등(2017)의 아키텍처가 QA 기반 보상으로 훈련될 경우, Paulus 등(2017)의 설정보다 ROUGE 및 인간 평가에서 더 뛰어난 성능을 내는가?

주요 결과

• 제안된 QA 기반 메트릭은 ROUGE 점수를 최신 기술 수준과 동일하거나 초월하면서도 인간 평가에서 관련성과 독해성 면에서 뚜렷한 향상을 보였다.
• 특히 QA 학습된 보상으로 훈련된 모델은 ROUGE와 QA 메트릭을 동일하게 가중치를 두고 훈련한 모델보다 관련성과 독해성 면에서 뛰어난 성능을 보였다.
• 동일 도메인의 레이블이 없는 데이터(CNN-DM 검증 세트)를 사용해 훈련하면 요약 품질에 눈에 띄는 향상이 있었으며, 특히 훈련 데이터가 테스트 분포와 일치할 경우 가장 큰 성과를 보였다.
• 도메인 외의 TL;DR 데이터를 사용해 QA 기반 보상으로 훈련한 모델은 ROUGE-L, QA F1(비지도), QA conf(비지도)에서 각각 1점 이상의 절대적 향상을 보였으며, 이는 강력한 도메인 간 전이 가능성(transferability)을 시사한다.
• 인간 평가 결과에 따르면, QA 학습된 모델은 QA 동일 모델보다 독해성에서 유의미하게 뛰어나며(p < 0.05), 반면 ROUGE-L 가중치가 강한 영향을 미치면서 관련성 면에서는 더 나쁜 성능을 보였다. 이는 보상의 잘못된 정렬(rward misalignment) 위험을 확인한다.
• 결과적으로, QA 기반 메트릭을 사용해 레이블이 없는 데이터를 자기지도로 미리 훈련시키는 것은 매우 유익하며, 참조 요약문 없이도 새로운 도메인으로 효과적인 전이를 가능하게 한다.