[논문 리뷰] SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization

Yang Gao, Wei Zhao외 1명|arXiv (Cornell University)|2020. 05. 07.

Topic Modeling참고 문헌 35인용 수 14

한 줄 요약

SUPERT는 문맥적 임bedding(예: SBERT)와 소프트 토큰 정렬을 사용하여 소스 문서의 주요 문장에서 가짜 기준 요약을 생성함으로써 의미 유사도를 측정하는 새로운 비지도 요약 평가 지표이다. 이는 기존 최고 수준의 비지도 평가 지표보다 인간 평가와의 상관관계에서 18–39% 높은 성능을 보이며, 강화학습 기반 요약 모델의 ROUGE-2 점수를 최대 17% 향상시킨다.

ABSTRACT

We study unsupervised multi-document summarization evaluation metrics, which require neither human-written reference summaries nor human annotations (e.g. preferences, ratings, etc.). We propose SUPERT, which rates the quality of a summary by measuring its semantic similarity with a pseudo reference summary, i.e. selected salient sentences from the source documents, using contextualized embeddings and soft token alignment techniques. Compared to the state-of-the-art unsupervised evaluation metrics, SUPERT correlates better with human ratings by 18-39%. Furthermore, we use SUPERT as rewards to guide a neural-based reinforcement learning summarizer, yielding favorable performance compared to the state-of-the-art unsupervised summarizers. All source code is available at https://github.com/yg211/acl20-ref-free-eval.

연구 동기 및 목표

• 인간이 작성한 기준 요약이나 인간 주석이 필요하지 않은 다중 문서 요약을 위한 비지도 평가 지표를 개발하는 것.
• 자동 평가 점수와 요약의 관련성에 대한 인간 평가 간의 상관관계를 향상시키는 것.
• SUPERT를 강화학습 기반 요약에서 보상 신호로 사용하여 인간 주석 데이터 의존도를 줄이는 것.
• 다중 문서 요약 작업에서 인간 주석 평가의 높은 비용과 확장성 문제를 해결하는 것.
• SUPERT가 비지도 환경에서 신경망 요약 모델이 최고 성능을 낼 수 있도록 이끌 수 있음을 보여주는 것.

제안 방법

• 위치 인식 기반 그래프 기반 문장 선택과 같은 히우리스틱 방법을 사용하여 각 소스 문서에서 상위 10개 또는 상위 15개의 주요 문장을 선택하여 가짜 기준 요약을 구성하는 것.
• 생성된 요약과 가짜 기준 요약을 모두 문맥적 문장 임베딩(예: SBERT)으로 인코딩하는 것.
• 토큰 수준에서 요약과 가짜 기준 요약 간의 의미 유사도를 계산하기 위해 소프트 토큰 정렬을 적용하는 것.
• 생성된 요약과 가짜 기준 요약 간 평균 의미 유사도로 요약의 관련성을 측정하는 것.
• 강화학습 프레임워크(NRD)에 SUPERT를 보상 함수로 통합하여 추출적 요약 모델을 훈련시키는 것.
• SUPERT 점수를 조밀하고 연속적인 보상으로 사용하여 인간 주석 없이도 엔드 투 엔드 최적화가 가능한 강화학습 기반 요약 모델을 훈련시키는 것.

실험 결과

연구 질문

• RQ1 기존 비지도 평가 지표보다 상당히 높은 인간 관련성 평가와의 상관관계를 달성할 수 있는 비지도 평가 지표가 가능한가?
• RQ2 문맥적 임베딩과 소프트 토큰 정렬은 요약과 소스 문서 간의 의미 겹침을 측정하는 데 얼마나 효과적인가?
• RQ3 SUPERT는 인간 주석 없이도 강화학습 기반 요약 모델 훈련을 위한 강력하고 확장 가능한 보상 신호로 기능할 수 있는가?
• RQ4 소스 문서에서 주요 문장을 선택하여 가짜 기준 요약을 만드는 것이 전체 문서 기반 가짜 기준 요약과 같은 간단한 베이스라인보다 우월한가?
• RQ5 SUPERT는 최고 수준의 기존 방법에 비해 비지도 신경망 요약 모델의 성능을 어느 정도 향상시키는가?

주요 결과

• SUPERT는 TAC’08 및 TAC’09 데이터셋에서 기존 최고 수준의 비지도 평가 지표보다 인간 관련성 평가와의 Kendall’s τ 상관관계에서 18–39% 높은 성능을 기록한다.
• 가장 우수한 SUPERT 버전은 상위 10개/15개 문장을 사용하고 SBERT 임베딩을 적용하는 것으로, 평가 및 강화학습 환경에서 모든 베이스라인을 능가한다.
• NTD(강화학습 기반 요약 모델)에서 보상으로 사용되었을 때, SUPERT는 TAC’08에선 최고 수준의 비지도 방법(YLS15)과 유사한 성능을 내며, TAC’09에선 유의미하게 뛰어난 성능을 보이며 ROUGE-2 점수에서 17% 향상되었다.
• 가짜 기준 요약 구성에 위치 인식 기반 그래프 기반 방법이 위치 무관 방법보다 우월하며, 심지어 단순 상위 문장 선택보다도 뛰어나므로, 문장 간 구조적 관계가 주요성 탐지에 기여함을 시사한다.
• SUPERT를 보상으로 사용하면 강화학습 기반 요약 모델의 데이터 효율적 훈련이 가능해지며, 레이블이 없는 문서에서 무한한 요약-보상 쌍을 생성함으로써 데이터 요구 과다 문제를 효과적으로 완화한다.
• SUPERT 기반 훈련은 더 관련성 있고 유창한 요약을 이끌어내며, 이는 더 높은 ROUGE 점수와 인간 평가와의 강한 일치로 입증된다.