[논문 리뷰] Cooperative Generator-Discriminator Networks for Abstractive Summarization with Narrative Flow

Saadia Gabriel, Antoine Bosselut외 4명|arXiv (Cornell University)|2019. 07. 02.

Topic Modeling참고 문헌 47인용 수 12

한 줄 요약

Co-opNet는 생성자와 논의 수준의 판별자 간의 결합을 통해 서사 흐름을 명시적으로 모델링하는 트랜스포머 기반 프레임워크이다. 이는 과학 논문 초록을 대체 황금 표준 요약으로 사용하는 SASS 데이터셋을 도입하여 장기적이고 일관된 요약을 학습함으로써 기존 베이스라인 대비 상당히 향상된 전반적 일관성 성능을 달성한다.

ABSTRACT

We introduce Cooperative Generator-Discriminator Networks (Co-opNet), a general framework for abstractive summarization with distinct modeling of the narrative flow in the output summary. Most current approaches to abstractive summarization, in contrast, are based on datasets whose target summaries are either a single sentence, or a bag of standalone sentences (e.g., extracted highlights of a story), neither of which allows for learning coherent narrative flow in the output summaries. To promote research toward abstractive summarization with narrative flow, we first introduce a new dataset, Scientific Abstract SummarieS (SASS), where the abstracts are used as proxy gold summaries for scientific articles. We then propose Co-opNet, a novel transformer-based framework where the generator works with the discourse discriminator to compose a long-form summary. Empirical results demonstrate that Co-opNet learns to summarize with considerably improved global coherence compared to competitive baselines.

연구 동기 및 목표

• 개괄적 요약에서 일관된 서사 흐름을 학습할 수 있는 훈련 데이터의 부족 문제를 해결하기 위해.
• 단일 문장이나 하이라이트에 국한되지 않고 장기적이고 논의 수준의 일관성 있는 요약을 모델링하는 프레임워크를 개발하기 위해.
• 과학 논문 초록이 서사 흐름 훈련을 위한 대체 황금 표준 요약으로 사용되는 새로운 데이터셋 SASS를 도입하기 위해.
• 생성자와 논의 수준 판별자의 협동 훈련을 통해 개괄적 요약의 전반적 일관성을 향상시키기 위해.
• 단일 문장 또는 추출 기반 요약을 초월하여 체계적인 서사 진행을 가진 요약 연구를 가능하게 하기 위해.

제안 방법

• 생성자와 논의 수준 판별자를 통합한 트랜스포머 기반 아키텍처인 Co-opNet을 제안한다.
• 논의 수준의 판별자를 사용하여 생성된 요약의 일관성과 논리적 흐름을 평가한다.
• 출력의 서사적 구조를 향상시키기 위해 생성자와 판별자를 협동적으로 훈련시킨다.
• 전체 과학 논문 초록이 황금 표준 요약으로 사용되는 SASS 데이터셋을 활용하여 서사 일관성 훈련을 수행한다.
• 문장 수준의 정확성이나 추출 기반 정확성 외에도 유창성과 논의 수준의 일관성을 최적화하는 훈련 목표를 설계한다.
• 생성자가 요약을 생성하고 판별자가 그들의 서사 흐름을 평가하는 이중 스트림 훈련 전략을 구현한다.

실험 결과

연구 질문

• RQ1 협동적 생성자-판별자 프레임워크는 일관된 서사 흐름을 갖춘 장기적 요약을 효과적으로 학습할 수 있는가?
• RQ2 논문 초록을 대체 황금 표준 요약으로 사용할 경우, 개괄적 요약의 서사 일관성 품질에 어떤 영향을 미치는가?
• RQ3 표준 문장 수준 또는 추출 기반 베이스라인 대비 논의 수준의 판별자가 전반적 일관성 향상에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 과학 논문 외의 장기적 요약 작업으로 일반화될 수 있는가?
• RQ5 서사적 구조 모델링이 개괄적 요약의 총합 요약 품질에 기여하는 정도는 어느 정도인가?

주요 결과

• Co-opNet는 경쟁적 기존 베이스라인 대비 생성된 요약의 전반적 일관성에서 상당히 향상된 성능을 달성한다.
• 초록이 대체 황금 표준 요약으로 사용되는 SASS의 사용은 서사 흐름 훈련을 효과적으로 가능하게 한다.
• 논의 수준의 판별자는 생성자가 더 일관되고 논리적으로 구성된 장기적 요약을 생성하도록 성공적으로 이끈다.
• 실증 결과에 따르면 Co-opNet은 서사 진행과 논리적 흐름을 더 잘 포착하는 것으로 나타났다.
• 생성자와 판별자의 협동 훈련은 더 자연스럽고 맥락적으로 일관된 요약을 만들어낸다.
• 명시적인 서사 흐름 모델링은 문장 수준의 유창성 외에도 더 높은 품질의 개괄적 요약을 만들어내는 데 기여한다.