[논문 리뷰] Learning by Semantic Similarity Makes Abstractive Summarization Better

Wonjin Yoon, Yoon Sun Yeo외 3명|arXiv (Cornell University)|2020. 02. 18.

Topic Modeling참고 문헌 30인용 수 19

한 줄 요약

이 논문은 BART와 같은 추상적 요약 모델이 인간 평가에서 기준 요약문보다 뛰어난 성능을 보이는 이유를 조사한다. CNN/DailyMail 데이터셋에서 훈련된 바에도 불구하고, 인류가 수행한 커뮤니티 기반 평가를 통해 모델이 생성한 요약문은 독해성, 관련성, 창의성 측면에서 기준 요약문보다 유의미하게 높은 평가를 받는다. 이는 기준 요약문이 최적의 품질을 반영한다는 전제를 도전하는 결과이며, 주요 통찰은 최대우도 훈련과 교차엔트로피 손실이 의미적으로 타당하지만 동일하지 않은 요약문(예: 다수의 타당한 어색한 표현)을 벌점으로 간주하여 훈련 과정에서 손해를 보게 한다는 점이다. 반면 의미 유사도 기반의 목적함수는 인간의 평가와 더 잘 일치할 수 있다.

ABSTRACT

By harnessing pre-trained language models, summarization models had rapid progress recently. However, the models are mainly assessed by automatic evaluation metrics such as ROUGE. Although ROUGE is known for having a positive correlation with human evaluation scores, it has been criticized for its vulnerability and the gap between actual qualities. In this paper, we compare the generated summaries from recent LM, BART, and the reference summaries from a benchmark dataset, CNN/DM, using a crowd-sourced human evaluation metric. Interestingly, model-generated summaries receive higher scores relative to reference summaries. Stemming from our experimental results, we first argue the intrinsic characteristics of the CNN/DM dataset, the progress of pre-trained language models, and their ability to generalize on the training data. Finally, we share our insights into the model-generated summaries and presents our thought on learning methods for abstractive summarization.

연구 동기 및 목표

• 최첨단 추상적 요약 모델인 BART가 인간 평가에서 공식 기준 요약문보다 더 선호되는 이유를 조사하는 것.
• 요약 품질의 상한선을 기준 요약문이 차지한다는 전제를 도전하는 것.
• CNN/DailyMail 데이터셋의 내재적 특성과 모델 성능 및 평가에 미치는 영향을 분석하는 것.
• 엄격한 자동회귀적 교차엔트로피 훈련에서 의미 유사도 기반 목적함수로의 전환을 제안하여 타당한 다수의 어색한 표현을 더 잘 포괄하는 것.
• 특히 개방형 생성 작업에서 n-gram 겹침이 아닌 의미 유사도를 우선시하는 평가 기준의 개선을 주장하는 것.

제안 방법

• BART가 생성한 요약문과 CNN/DailyMail 데이터셋의 기준 요약문을 대상으로 인간 평가를 실시하였으며, 창의성, 독해성, 관련성의 세 가지 기준을 사용하였다.
• 자동 평가 지표(ROUGE)와 인간 평가를 비교하여 격차를 분석하였다.
• 모델 예측과 기준 요약문을 분석하여, 의미적으로 타당하지만 동일하지 않은 요약문이 교차엔트로피 손실에 의해 벌점으로 간주되는 사례를 규명하였다.
• BART의 인코더-디코더 아키텍처와 사전학습된 언어 표현이 문장의 유창성과 핵심 정보 추출 능력을 향상시켜 독해성 및 관련성 점수를 높였다는 점을 확인하였다.
• 엄격한 자동회귀적 훈련을 의미 유사도 기반 목적함수로 대체하여 타당한 어색한 표현에 대한 벌점을 줄이려 하였다.
• 구현 결함으로 인해 자체 모델(semsim)을 제외하고 인간 평가 데이터를 기반으로 BART와 기준 요약문만 분석하였다.

실험 결과

연구 질문

• RQ1 왜 BART가 생성한 요약문은 CNN/DailyMail 데이터셋에서 기준 요약문보다 인간 평가에서 더 높은 점수를 받는가?
• RQ2 자동 평가 지표인 ROUGE가 추상적 요약에서 인간 평가와 얼마나 관련이 있는가?
• RQ3 BART와 같은 사전학습된 언어 모델을 사용할 경우, 기준 요약문과 비교해 생성된 요약문의 품질은 어떻게 향상되는가?
• RQ4 여러 개의 타당한 어색한 표현이 존재할 때, 순서 기반 요약 작업에서 교차엔트로피 손실의 한계는 무엇인가?
• RQ5 의미 유사도가 n-gram 겹침보다 더 중요하게 고려되어야 하는 평가 기준은 어떻게 개선될 수 있는가?

주요 결과

• BART가 생성한 요약문은 창의성, 독해성, 관련성의 세 기준에서 모두 기준 요약문보다 뚜렷하게 높은 인간 평가 점수를 기록하였다.
• 모델이 생성한 요약문의 평균 독해성 점수는 100점 만점에 약 80점으로, 높은 유창성과 자연스러움을 나타내며 인간 평가에서 높은 점수로 간주된다.
• CNN/DailyMail 데이터셋에서 훈련되었음에도 불구하고, BART는 공식 기준 요약문보다 더 선호되는 요약문을 생성하여, 기준 요약문이 최적의 품질을 반영한다는 전제를 도전한다.
• 연구 결과에 따르면, 교차엔트로피 손실은 의미적으로 타당하지만 동일하지 않은 요약문(예: 어색한 표현)을 오류로 간주하여 벌점을 주며, 사실적이고 맥락적으로 정확한 경우에도 마찬가지로 처리된다.
• 결과적으로 CNN/DailyMail 데이터셋의 내재적 특성(예: 기준 요약문의 품질이 낮거나 중복이 많을 가능성)이 모델 성능이 기준 요약문 성능을 초월하는 데 기여했을 수 있음을 시사한다.
• 저자들은 의미 유사도 기반의 훈련 목적함수가 타당한 다수의 어색한 표현을 수용함으로써 인간 평가와 더 잘 일치할 수 있으며, 엄격한 정확한 일치에 대한 벌점으로 인한 훈련 노이즈를 줄일 수 있다고 결론 내린다.