[논문 리뷰] CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems

Yiran Chen, Pengfei Liu외 5명|arXiv (Cornell University)|2020. 10. 11.

Topic Modeling참고 문헌 34인용 수 5

한 줄 요약

이 논문은 신경 텍스트 요약 시스템을 위한 경험적 다중 데이터셋 평가 프레임워크인 CDEvalSumm을 소개한다. 이 프레임워크는 다섯 개인 다양한 데이터셋 간의 일반화 능력을 평가한다. 분석 결과, 추출형 모델에 비해 개성형 모델은 다중 데이터셋 전이 상황에서 훨씬 더 취약한 것으로 드러났으며, BART는 높은 성능과 안정성을 보였지만, BERT 기반 모델은 도메인 내와 도메인 외 설정 간 성능 격차가 크다는 문제가 있었다.

ABSTRACT

Neural network-based models augmented with unsupervised pre-trained knowledge have achieved impressive performance on text summarization. However, most existing evaluation methods are limited to an in-domain setting, where summarizers are trained and evaluated on the same dataset. We argue that this approach can narrow our understanding of the generalization ability for different summarization systems. In this paper, we perform an in-depth analysis of characteristics of different datasets and investigate the performance of different summarization models under a cross-dataset setting, in which a summarizer trained on one corpus will be evaluated on a range of out-of-domain corpora. A comprehensive study of 11 representative summarization systems on 5 datasets from different domains reveals the effect of model architectures and generation ways (i.e. abstractive and extractive) on model generalization ability. Further, experimental results shed light on the limitations of existing summarizers. Brief introduction and supplementary code can be found in https://github.com/zide05/CDEvalSumm.

연구 동기 및 목표

• 도메인 내 평가를 넘어서 신경 요약 모델의 일반화 능력을 조사하기 위해.
• 모델 아키텍처와 생성 유형(개성형 대비 추출형)이 다중 데이터셋 성능에 미치는 영향을 규명하기 위해.
• ROUGE 및 사실성 평가 지표와는 별개로, 최신 모델의 한계를 다중 데이터셋 평가를 통해 진단하기 위해.
• 일반화 능력을 평가하기 위한 새로운 평가 지표인 '강성(stiffness)'과 '안정성(stability)'을 제안하고 검증하기 위해.

제안 방법

• 11개의 대표적 요약 모델(최신 기술 모델인 BART 및 BERT Match 포함)을 한 데이터셋에서 학습하고, 나머지 네 개의 도메인 외 데이터셋에서 평가한다.
• 다중 데이터셋 설정에서 의미적 등가성을 근사하기 위해 ROUGE 점수를 사용하고, 사실성 평가에는 FactCC를 활용한다.
• 일반화 능력을 측정하기 위해 두 가지 새로운 평가 지표인 '강성'(도메인 내 성능 일관성)과 '안정성'(도메인 외 성능 일관성)을 도입한다.
• CNN/DailyMail, XSum, PubMed, BigPatent, Reddit의 다섯 데이터셋을 종합적이고 세부적인 분석을 통해 평가한다.
• 추출형 및 개성형 생성 프레임워크를 모두 적용하여 다중 데이터셋 전이 상황에서의 모델 행동을 비교한다.
• 복사 메커니즘 및 BERT 통합과 같은 아키텍처 구성 요소에 대한 분석을 수행하여 일반화에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 예를 들어 트랜스포머 대비 LSTM, BERT 대비 BART와 같은 다양한 신경 아키텍처가 다중 데이터셋 일반화 성능에 어떤 영향을 미치는가?
• RQ2 도메인 외 데이터셋에서 평가할 때, 개성형 요약 모델과 추출형 요약 모델은 일반화 행동에서 어떻게 다를까?
• RQ3 개성형 모델에 BERT를 통합할 경우, 다양한 데이터셋 간에 강성과 안정성에 어떤 영향을 미치는가?
• RQ4 복사 메커니즘이나 사전 훈련된 시퀀스 투 시퀀스 모델 같은 아키텍처 구성 요소가 다중 데이터셋 내성에 기여하는가?
• RQ5 기존의 사실성 평가 방법은 다중 데이터셋 설정에서 어떻게 작동하는가? 도메인 외 모델이 때로 도메인 내 모델보다 높은 사실성 점수를 기록하는가?

주요 결과

• 다중 데이터셋 평가에서 개성형 요약 모델은 추출형 모델에 비해 훨씬 낮은 안정성(최대 37% 격차)을 보이며, 높은 취약성을 드러낸다.
• 최신 기술 개성형 모델인 BART는 도메인 내 ROUGE 점수에서 높은 강성과 도메인 외 ROUGE 점수에서 강한 안정성을 확보하여 다른 개성형 모델을 압도한다.
• BERT Match는 강성(ROUGE)에서는 잘 수행하지만, BigPatent B로의 전이 시에 특히 안정성이 열악하여 도메인 민감도가 높음을 보여준다.
• 복사 메커니즘이나 사전 훈련된 시퀀스 투 시퀀스 모델(예: BART)에 최적화된 모델은 다양한 도메인 간에 더 뛰어난 내성을 보였다.
• 단순히 인코더에 BERT를 추가하면 도메인 내 성능은 향상되지만, 도메인 내와 도메인 외 성능 격차는 더욱 벌어지므로 통합 방식이 최적화되지 않았음을 시사한다.
• FactCC를 활용한 사실성 평가에서는 긍정 샘플에 대해 예측 능력이 제한적이며, 놀랍게도 도메인 외 모델이 때로 도메인 내 모델보다 높은 사실성 점수를 기록하는 경우가 있었다.