[논문 리뷰] DiscoFuse: A Large-Scale Dataset for Discourse-Based Sentence Fusion

Mor Geva, Eric Malmi외 2명|arXiv (Cornell University)|2019. 02. 27.

Text Readability and Simplification참고 문헌 24인용 수 17

한 줄 요약

이 논문은 위키백과와 스포츠 기사에서 규칙 기반의 융합 문장 분해를 통해 자동으로 생성된 6000만 개의 논의 기반 문장 융합 예제를 포함하는 대규모 데이터셋인 DiscoFuse를 소개한다. 이 방법은 신경망 모델의 효과적인 사전 훈련을 가능하게 하며, WebSplit과 같은 후행 융합 작업에서 성능을 크게 향상시켜, 자원이 부족한 환경에서 전이 학습을 위한 DiscoFuse의 유용성을 입증한다.

ABSTRACT

Sentence fusion is the task of joining several independent sentences into a single coherent text. Current datasets for sentence fusion are small and insufficient for training modern neural models. In this paper, we propose a method for automatically-generating fusion examples from raw text and present DiscoFuse, a large scale dataset for discourse-based sentence fusion. We author a set of rules for identifying a diverse set of discourse phenomena in raw text, and decomposing the text into two independent sentences. We apply our approach on two document collections: Wikipedia and Sports articles, yielding 60 million fusion examples annotated with discourse information required to reconstruct the fused text. We develop a sequence-to-sequence model on DiscoFuse and thoroughly analyze its strengths and weaknesses with respect to the various discourse phenomena, using both automatic as well as human evaluation. Finally, we conduct transfer learning experiments with WebSplit, a recent dataset for text simplification. We show that pretraining on DiscoFuse substantially improves performance on WebSplit when viewed as a sentence fusion task.

연구 동기 및 목표

• 신경 문장 융합 모델을 위한 대규모 고품질 훈련 데이터의 부족 문제를 해결하기 위해.
• 원시 텍스트 코퍼스에서 다양성 있는 문장 융합 예제를 자동으로 생성하기 위한 확장 가능한 규칙 기반 방법을 개발하기 위해.
• DiscoFuse의 효과성을 시퀀스 투 시퀀스 모델 훈련 및 관련 작업에서의 전이 학습 가능성 평가하기 위해.
• 연결어, 지명어 교체, 조인성과 같은 다양한 논의 현상에서 모델 성능 분석하기 위해.
• DiscoFuse에서 사전 훈련한 결과가 WebSplit과 같은 후행 융합 작업에서 성능 향상에 기여함을 입증하기 위해.

제안 방법

• 연결어 삽입, 대명사화, 조인성과 같은 일반적인 융합 연산을 반대로 수행하여 융합 문장을 두 개의 독립 문장으로 분해하기 위해 수작업으로 설계된 규칙를 적용한다.
• 이 규칙 기반 분해 파이프라인을 위키백과와 스포츠 기사라는 두 대규모 코퍼스에 적용하여 각각 1600만 개와 4400만 개의 예제를 확보한다.
• 생성된 예제에서 융합을 학습하기 위해 트랜스포저 아키텍처를 사용한 시퀀스 투 시퀀스 모델을 구축한다.
• 인간 평가를 통해 커뮤니티 기반으로 분할된 문장의 품질과 일관성을 평가하여 85%의 이해도를 달성한다.
• WebSplit 데이터셋에서 반대 작업인 문장 융합을 위한 사전 훈련 후 미세 조정을 수행하기 위해 DfWiki에서 사전 훈련하고 WebSplit에서 미세 조정하는 전이 학습 실험을 수행한다.
• SARI 및 F1 점수를 사용하여 자동 평가 및 인간 평가 지표 모두에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 인간의 애너테이션 없이도 규칙 기반 방법이 원시 텍스트에서 대규모 고품질 문장 융합 예제를 생성할 수 있는가?
• RQ2 DiscoFuse에서 훈련된 신경망 모델이 연결어 삽입 및 대명사화와 같은 다양한 논의 현상에 대해 얼마나 잘 일반화되는가?
• RQ3 WebSplit과 같이 데이터가 제한된 후행 융합 작업에서 DiscoFuse에서 사전 훈련하면 성능 향상이 어느 정도 이루어지는가?
• RQ4 현재 모델이 문장 융합에서 논의 수준의 현상 처리 시 주요 실패 원인은 무엇인가?
• RQ5 일관성과 의미 충실도 측면에서 자동 생성된 예제의 품질이 인간 애너테이션 데이터와 비교해 어떻게 되는가?

주요 결과

• DiscoFuse 데이터셋은 위키백과와 스포츠 기사에서 유래한 6000만 개의 문장 융합 예제를 포함하며, 인간 평가자에 의해 85%의 분할 예제가 일관성 있다고 평가되었다.
• 트랜스포저 기반 모델은 어순 및 관계절과 같은 구조적 융합 작업에서는 잘 수행하지만, 논의 연결어 삽입 및 대명사 선택에서는 심각한 어려움을 겪는다.
• DfWiki(1600만 개 예제)에서 사전 훈련하고 WebSplit에서 미세 조정하면, WebSplit에서 단독 훈련하는 것과 비교해 SARI 점수는 9% 향상되었으며, '추가된' n-그램의 F1 점수는 33% 상승했다.
• 모델의 '추가된' n-그램 성능(F1: 10.4)은 여전히 낮아, 특히 간소화된 데이터에서의 어휘 재구성과 내용 복구에 어려움을 겪고 있음을 시사한다.
• 전이 학습 설정에서 DiscoFuse는 타겟 데이터 분포가 다를지라도 융합 작업에 유용한 인덕티브 바이어스를 제공함을 확인했으며, 이는 일반화 능력을 입증한다.
• 규칙 기반 생성 방법은 대조, 원인, 예시 연결어와 같은 다양한 논의 현상을 성공적으로 포착했으며, 'unless'의 경우 최대 68.9%의 정렬 정확도와 'so that'의 경우 67.0%의 정렬 정확도를 기록했다.