[논문 리뷰] A Closer Look at Data Bias in Neural Extractive Summarization Models

Ming Zhong, Danqing Wang외 3명|arXiv (Cornell University)|2019. 09. 30.

Topic Modeling참고 문헌 32인용 수 7

한 줄 요약

이 논문은 신경 추출 요약 모델의 일반화에 영향을 미치는 데이터셋 편향—특히 구성 요소 및 스타일 요인—이 어떻게 작용하는지 조사한다. 내용 및 위치 커버리지, 밀도, 압축도 등의 특성 분석을 통해 도메인 또는 P/C-값 기반의 단순한 데이터 분할 전략이 BERT 미세조정을 뛰어넘는 성능 향상을 이끌어내며, 이는 모델 설계가 사전 훈련 모델에만 의존하기보다는 데이터셋 특성에 따라 이끌려야 한다는 것을 시사한다.

ABSTRACT

In this paper, we take stock of the current state of summarization datasets and explore how different factors of datasets influence the generalization behaviour of neural extractive summarization models. Specifically, we first propose several properties of datasets, which matter for the generalization of summarization models. Then we build the connection between priors residing in datasets and model designs, analyzing how different properties of datasets influence the choices of model structure design and training methods. Finally, by taking a typical dataset as an example, we rethink the process of the model design based on the experience of the above analysis. We demonstrate that when we have a deep understanding of the characteristics of datasets, a simple approach can bring significant improvements to the existing state-of-the-art model.A

연구 동기 및 목표

• 데이터셋 수준의 편향을 분석하여 현재 신경 추출 요약 모델의 한계를 진단하기 위해.
• 데이터셋 내 구성 요소 및 스타일 요인이 모델 일반화와 설계 선택에 어떻게 영향을 미치는지 이해하기 위해.
• 데이터셋 특성 기반의 단순한 데이터 분할 전략이 복잡한 모델 아키텍처나 사전 훈련보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.
• 데이터셋 특성과 모델 구조, 훈련 스키마, 사전 훈련 전략 간의 연관성을 제시하여 향후 모델 설계 지침을 제공하기 위해.

제안 방법

• 데이터셋 특성을 수량화하기 위해 위치 커버리지 비율, 내용 커버리지 비율, 밀도, 압축도의 네 가지 핵심 데이터셋 측정치를 제안한다.
• 이러한 데이터셋 특성이 모델 설계, 훈련 스키마, 사전 훈련 전략에 미치는 영향을 분석한다.
• 도메인, P-값, 또는 C-값 태그를 사용해 샘플을 태깅함으로써 도메인 인식 훈련을 구현하여 일반화를 향상시킨다.
• 다양한 데이터셋(CNN/DM, DUC2002, NYT50, Newsroom, arXiv, PubMed) 간의 제로샷 전이 평가를 수행하여 일반화 능력을 평가한다.
• 훈련 스키마를 비교한다: 통합 훈련, 명시적 태그를 사용한 다중 도메인 학습, 암시적 BERT 기반 특징, 메타학습.
• BERT와 기본 Transformer 모델을 사용하여 다양한 데이터 분할 전략 하에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 요약 데이터셋 내 구성 요소 요인(예: 내용 및 위치 커버리지)이 모델 일반화에 어떻게 영향을 미치는가?
• RQ2 스타일 요인(예: 밀도 및 압축도)이 추출 요약 모델의 성능과 일반화에 어떻게 영향을 미치는가?
• RQ3 도메인 기반 또는 P/C-값 기반 태깅과 같은 단순한 데이터 분할 전략이 복잡한 아키텍처나 사전 훈련보다 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ4 BERT가 특정 데이터셋에서는 왜 일반화가 잘 되지 않는가? 어떤 조건에서 BERT가 가장 잘 작동하는가?
• RQ5 데이터셋 인식 모델 설계가 표준 사전 훈련 및 아키텍처 설계를 능가할 수 있는가?

주요 결과

• 도메인(CNN 대 DailyMail) 기반으로 훈련 세트를 분할하면 기본 모델 대비 0.12 ROUGE-1 향상이 발생하여, 단순한 데이터 분할 전략이 매우 효과적일 수 있음을 보여준다.
• P-값 및 C-값 태깅을 적용한 모델은 BERT와 조합했을 때 최고 성능(42.77 ROUGE-1)을 기록하며, 표준 BERT 미세조정을 뛰어넘는다.
• 메타학습 모델은 분포가 먼 데이터셋(예: arXiv, PubMed)에서 BERT보다 더 잘 일반화되며, 이는 메타학습이 분포 외 데이터에 더 잘 적응함을 시사한다.
• BERT는 밀도 및 압축도가 낮은 데이터셋(예: arXiv, PubMed)에서 성능이 열 劣하므로, BERT의 성공은 스타일 요인에 매우 의존함을 시사한다.
• 임의의 태깅은 효과가 없으며, 이는 의미 있는 데이터 분할이 외부적 분할이 아닌 데이터셋의 내재적 특성에 기반해야 한다는 점을 확인한다.
• 최고 성능을 낸 모델(BERT + P/C-값 태깅)은 42.77 ROUGE-1, 19.98 ROUGE-2, 39.10 ROUGE-L을 기록하여, 데이터셋 인식 설계가 표준 최신 기술(SOTA) 접근법을 뛰어넘을 수 있음을 입증한다.