[논문 리뷰] Newsroom: A Dataset of 1.3 Million Summaries with Diverse Extractive Strategies

Max Grusky, Mor Naaman외 1명|arXiv (Cornell University)|2018. 04. 30.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 1998–2017년 기간 동안 38개 주요 언론사에서 작성한 130만 건의 인간이 작성한 뉴스 요약문을 포함한 Newsroom이라는 데이터셋을 소개한다. 이 데이터셋은 검색 엔진과 소셜 미디어를 위한 메타데이터로 수집되었다. 요약 전략이 추출적에서 개creative로 이르는 스펙트럼을 분석하고, ROUGE 및 인간 평가를 통해 데이터셋의 다양성과 과제를 입증하며, Newsroom에서의 학습이 도메인 외 요약 작업에서의 성능 향상에 기여함을 보여준다.

ABSTRACT

We present NEWSROOM, a summarization dataset of 1.3 million articles and summaries written by authors and editors in newsrooms of 38 major news publications. Extracted from search and social media metadata between 1998 and 2017, these high-quality summaries demonstrate high diversity of summarization styles. In particular, the summaries combine abstractive and extractive strategies, borrowing words and phrases from articles at varying rates. We analyze the extraction strategies used in NEWSROOM summaries against other datasets to quantify the diversity and difficulty of our new data, and train existing methods on the data to evaluate its utility and challenges.

연구 동기 및 목표

• 자동 요약 시스템을 훈련하고 평가하기 위한 대규모 고품질 요약 데이터의 부족 문제를 해결하기 위해.
• 다양한 뉴스 도메인과 시간대를 반영한 실제 뉴스룸 요약 관행을 반영하는 실제 세계적 맥락의 데이터셋을 제공하기 위해.
• 전문 뉴스룸 요약에서 사용되는 추출적 및 개creative 전략의 스펙트럼을 정량화하고 특성화하기 위해.
• 자동 평가(ROUGE) 및 인간 평가 지표를 모두 활용하여 요약 모델 평가의 기준을 설정하기 위해.
• Newsroom에서의 학습이 도메인 외 데이터에서 요약 모델의 성능 향상에 기여함을 입증함으로써 데이터셋의 유용성을 입증하기 위해.

제안 방법

• 검색 엔진과 소셜 미디어를 위한 메타데이터로 사용되도록 기자와 편집자가 작성한 요약문을 포함한 38개 주요 뉴스 매체에서 130만 건의 기사-요약 쌍을 수집하였다.
• 소스 텍스트 문구와의 일치 비율을 정량화하여 추출성 지표를 정의하고 계산함으로써, 추출적, 혼합형, 개creative 유형으로 분류할 수 있도록 하였다.
• ROUGE 점수와 인간 평가를 모두 활용하여 Newsroom 데이터셋에서 여러 기초 모델(예: TextRank, Pointer-Generator, Abs-N)을 훈련하고 평가하였다.
• 인간 평가 프로토콜을 설계하여 정보성, 관련성, 유창성, 일관성의 네 가지 차원을 기준으로 커뮤니티 워커를 활용해 요약 품질을 평가함으로써 ROUGE를 넘는 평가 기준을 확보하였다.
• 인간 평가 점수를 활용해 자동 지표를 넘어서 모델 성능을 비교함으로써, ROUGE 점수와 인간 판단 간의 괴리를 드러내었다.
• 최신 혼합 전략 요약 모델을 Newsroom에서 미세조정하고, 도메인 외 테스트 세트에서 성능을 평가함으로써 전이 학습의 유용성을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 매체와 주제 간에 전문 뉴스룸 요약에서 추출적 전략과 개creative 전략의 사용 비율은 어느 정도로 다양하게 나타나는가?
• RQ2 Newsroom의 요약 스타일 다양성은 기존 요약 데이터셋과 비교해 볼 때 추출성, 압축률, 커버리지 측면에서 어떻게 다른가?
• RQ3 이 데이터셋에서 자동 평가 지표인 ROUGE는 인간 평가의 요약 품질 판단과 어느 정도 상관관계가 있는가?
• RQ4 Newsroom에서의 학습이 도메인 외 테스트 데이터에서 요약 모델의 성능 향상에 기여하는가? 만약 기여한다면 그 정도는 어느 정도인가?
• RQ5 다양한 유형의 신경망 모델(예: 추출적, 개creative, 포인터-제너레이터)은 이 다양하고 실제 세계적인 데이터셋에서 유창성, 일관성, 정보성 측면에서 어떻게 성능을 내는가?

주요 결과

• Newsroom은 1998–2017년 기간 동안 38개 주요 뉴스 매체에서 기자들이 대중을 대상으로 작성한 130만 건의 기사-요약 쌍을 포함하고 있다.
• 이 데이터셋은 소스 기사의 문구 수준 일치도를 기준으로 측정했을 때, 매우 높은 요약 전략의 다양성을 보이며, 고도로 추출적인 요약에서 완전히 개creative인 요약까지 다양하게 분포되어 있다.
• 인간 평가 결과, ROUGE 점수만으로는 요약 품질을 평가하기에 부족함이 있음이 드러났다. 높은 ROUGE 점수를 기록한 모델(예: 추출적 오라클)은 인간 평가자들로부터 유창성과 일관성 측면에서 낮은 평가를 받았다.
• TextRank는 정보성은 일부 신경망 모델보다 낮지만, 유창성과 일관성 측면에서 뛰어나 인간 평가에서 가장 높은 점수(5.0점 만점에 3.81점)를 기록했다.
• 포인터-제너레이터 모델(특히 Pointer-S 및 Pointer-N)은 TextRank보다 정보성과 관련성 측면에서 더 높은 평가를 받았지만, 유창성과 일관성 측면에선 낮은 점수를 기록했다.
• 최신 혼합 전략 모델을 Newsroom에서 미세조정한 결과, 도메인 외 요약 벤치마크에서 성능 향상이 관찰되어, 이 데이터셋이 데이터 집약적 학습에 있어 가치가 있음을 입증했다.