[논문 리뷰] SuperPAL: Supervised Proposition ALignment for Multi-Document Summarization and Derivative Sub-Tasks.

Ori Ernst, Ori Shapira외 5명|arXiv (Cornell University)|2020. 09. 01.

Topic Modeling참고 문헌 43인용 수 6

한 줄 요약

이 논문은 다중 문서 요약(MDS) 하위 작업을 위한 골드 표준 훈련 데이터를 생성하는 감독형 문장 정렬 프레임워크인 SuperPAL을 소개한다. 새로운 대규모 데이터셋으로 고정밀도 정렬기를 훈련시킴으로써 SuperPAL은 기존 요약 모델에 통합될 경우 기준 요약의 일관성과 ROUGE 점수를 향상시키며, 동시에 어떤 요약 코퍼스에서든 자동으로 중요도, 군집화, 생성 데이터셋을 파생시킬 수 있다.

ABSTRACT

Multi-document summarization (MDS) is a challenging task, often decomposed to subtasks of salience and redundancy detection, followed by generation. While alignment of spans between reference summaries and source documents has been leveraged for training component tasks, the underlying alignment step was never independently addressed or evaluated. We advocate developing high quality source-reference alignment algorithms, that can be applied to recent large-scale datasets to obtain useful silver, i.e. approximate, training data. As a first step, we present an annotation methodology by which we create gold standard development and test sets for summary-source alignment, and suggest its utility for tuning and evaluating effective alignment algorithms, as well as for properly evaluating MDS subtasks. Second, we introduce a new large-scale alignment dataset for training, with which an automatic alignment model was trained. This aligner achieves higher coherency with the reference summary than previous aligners used for summarization, and gets significantly higher ROUGE results when replacing a simpler aligner in a competitive summarization model. Finally, we release three additional datasets (for salience, clustering and generation), naturally derived from our alignment datasets. Furthermore, these datasets can be derived from any summarization dataset automatically after extracting alignments with our trained aligner. Hence, they can be utilized for training summarization sub-tasks.

연구 동기 및 목표

• 다중 문서 요약(MDS) 하위 작업을 위한 고품질의 소스-기준 정렬 알고리즘 개발.
• 정렬 알고리즘 및 MDS 하위 작업 평가를 위한 골드 표준 개발 및 테스트 세트 구축.
• 일관성과 효과성 측면에서 이전 방법을 능가하는 대규모 자동 정렬기 훈련.
• 정렬된 데이터에서 자동으로 추가적인 하류 데이터셋(중요도, 군집화, 생성) 파생.
• 훈련된 정렬기를 사용해 어떤 요약 코퍼스에서든 작업별 전용 데이터셋을 자동으로 유도할 수 있도록 설계.

제안 방법

• 요약-소스 정렬을 위한 골드 표준 개발 및 테스트 세트를 생성하기 위한 새로운 주석 방법론 제안.
• 새로 구축한 대규모 정렬 데이터셋으로 감독형 신경 정렬기 훈련을 통해 정렬 품질 향상.
• 훈련된 정렬기를 사용해 소스 문서와 기준 요약에서 정렬을 자동으로 추출.
• 추출된 정렬을 활용해 세 가지 새로운 데이터셋(중요도, 군집화, 생성) 유도.
• 기존의 경쟁력 있는 요약 모델에 훈련된 정렬기를 통합해 성능 향상 평가.
• 기준 요약과의 일관성과 하류 ROUGE 점수를 통해 정렬 품질 평가.

실험 결과

연구 질문

• RQ1 감독형 문장 정렬 모델이 이전의 정렬기보다 기준 요약과 더 높은 일관성을 달성할 수 있는가?
• RQ2 제안된 정렬기를 경쟁 요약 모델에 적용할 경우 ROUGE 점수가 얼마나 향상되는가?
• RQ3 고품질의 정렬 데이터를 활용해 중요도, 군집화, 생성을 위한 신뢰할 수 있는 하류 데이터셋을 자동으로 유도할 수 있는가?
• RQ4 제안된 주석 방법론이 신뢰할 수 있는 골드 표준 정렬 세트를 만드는 데 얼마나 효과적인가?
• RQ5 훈련된 정렬기가 다양한 요약 코퍼스에 일반화되어 작업별 전용 데이터를 파생시킬 수 있는가?

주요 결과

• 제안된 정렬기는 이전 요약 작업에서 사용된 정렬기보다 기준 요약과 더 높은 일관성을 확보한다.
• 경쟁 요약 시스템에 간단한 정렬기 대신 SuperPAL 모델을 통합하면 ROUGE 점수가 유의미하게 향상된다.
• 주석 방법론을 통해 생성된 골드 표준 개발 및 테스트 세트는 정렬 알고리즘의 튜닝과 평가에 효과적이다.
• 훈련된 정렬기는 어떤 요약 코퍼스에서든 고품질의 중요도, 군집화, 생성 데이터셋을 자동으로 유도할 수 있다.
• 파생된 데이터셋은 MDS 하위 작업의 훈련 및 평가에 적합하며, 종합적 요약 성능 향상에 기여한다.
• 정렬 프레임워크는 일반화 가능하며, 기존의 어떤 요약 코퍼스에도 적용되어 작업별 전용 훈련 데이터를 생성할 수 있다.