[논문 리뷰] PRIMER: Pyramid-based Masked Sentence Pre-training for Multi-document Summarization.

Wen Xiao, Iz Beltagy외 2명|arXiv (Cornell University)|2021. 10. 16.

Topic Modeling참고 문헌 31인용 수 14

한 줄 요약

PRIMER는 다중 문서 요약을 위한 피라미드 기반 마스킹 문장 사전학습 모델로, 장기자기주의 아키텍처를 활용하고 전역 주의 메커니즘과 새로운 엔터티 피라미드 전략을 도입하여 문서 클러스터 간 핵심 문장을 식별한다. 최소한의 미세조정으로도 0-샷, 소수의 샘플, 전체 레이블링 데이터 설정에서 여섯 개인 다중 문서 요약 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recently proposed pre-trained generation models achieve strong performance on single-document summarization benchmarks. However, most of them are pre-trained with general-purpose objectives and mainly aim to process single document inputs. In this paper, we propose PRIMER, a pre-trained model for multi-document representation with focus on summarization that reduces the need for dataset-specific architectures and large amounts of fine-tuning labeled data. Specifically, we adopt the Longformer architecture with proper input transformation and global attention to fit for multi-document inputs, and we use Gap Sentence Generation objective with a new strategy to select salient sentences for the whole cluster, called Entity Pyramid, to teach the model to select and aggregate information across a cluster of related documents. With extensive experiments on 6 multi-document summarization datasets from 3 different domains on the zero-shot, few-shot, and full-supervised settings, our model, PRIMER, outperforms current state-of-the-art models on most of these settings with large margins. Code and pre-trained models are released at this https URL

연구 동기 및 목표

• 제한된 레이블 데이터를 가진 다중 문서 요약을 위해 특별히 설계된 사전학습 모델의 부족을 해결하기 위해.
• 데이터셋에 특화된 아키텍처와 광범위한 미세조정에 의존하는 것을 줄이기 위해.
• 관련 문서 클러스터 간 정보 선택 및 집합을 향상시키기 위해.
• 여러 문서 간 핵심 콘텐츠를 포괄하는 사전학습 목표를 개발하기 위해.

제안 방법

• 장기자기주의 아키텍처를 채택하여 장기적인 다중 문서 입력을 효과적으로 처리하기 위해 전역 주의 메커니즘을 적용한다.
• 다중 문서 클러스터를 입력 시퀀스로 구조화하기 위해 입력 변환 기법을 적용한다.
• 문서 클러스터에서 핵심 문장을 마스킹하고 재구성하기 위해 갭 문장 생성 목표를 도입한다.
• 문서 간 엔터티의 중요도를 기반으로 핵심 문장을 식별하고 우선순위를 정하기 위해 엔터티 피라미드 전략을 활용한다.
• 클러스터에서 중요한 콘텐츠를 재구성하도록 유도하는 마스킹 문장 사전학습 목표를 사용한다.
• 다운스트림 요약 작업에 대한 미세조정 이전에 대규모 다중 문서 코퍼스에서 모델를 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 새로운 마스킹 문장 목표를 가진 사전학습 모델이 다양한 도메인에서 다중 문서 요약 성능을 향상시킬 수 있는가?
• RQ2 엔터티 피라미드 전략이 문서 클러스터의 핵심 문장을 식별하는 데 얼마나 효과적인가?
• RQ3 PRIMER는 0-샷, 소수의 샘플, 완전한 레이블링 설정에서 얼마나 잘 일반화되는가?
• RQ4 Longformer에서 전역 주의 메커니즘의 사용이 다중 문서 입력에 대한 표현 학습을 향상시키는가?
• RQ5 PRIMER는 데이터셋에 특화된 아키텍처와 대규모 레이블링 미세조정 데이터의 필요성을 줄일 수 있는가?

주요 결과

• PRIMER는 0-샷, 소수의 샘플, 전체 레이블링 설정에서 여섯 개인 다중 문서 요약 데이터셋에서 기존 최신 기술 수준(SOTA) 모델을 초월한다.
• 특히 자원이 제한된 소수의 샘플 및 0-샷 환경에서 이전 방법에 비해 큰 성능 격차를 확보한다.
• 엔터티 피라미드 전략은 문서 클러스터에서 핵심 정보를 식별하고 집합하는 데 모델의 능력을 크게 향상시킨다.
• Longformer에서 전역 주의 메커니즘의 사용은 다중 문서 간 장거리 의존성을 효과적으로 모델링할 수 있도록 한다.
• 갭 문장 생성 목표는 요약을 위한 문장 수준의 표현 학습을 향상시킨다.
• 모델는 세 가지 다른 도메인에서 잘 일반화되어 있어 강건성과 전이 가능성(transferability)을 입증한다.