[논문 리뷰] Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical Supervision from Extractive Summaries

Xiaofei Sun, Zijun Sun외 3명|arXiv (Cornell University)|2020. 10. 14.

Topic Modeling참고 문헌 69인용 수 6

한 줄 요약

이 논문은 장문의 텍스트 생성을 향상시키기 위해 먼저 세그먼트를 요약하고, 이를 개요로 정리한 후 각 요약을 완전한 텍스트로 확장하는 계층적 텍스트 생성 프레임워크인 SOE를 제안한다. 추출된 요약을 복원하기 위한 비지도 재구성 전략을 사용함으로써 SOE는 고수준 계획 수립, 논의적 의존성 유지, 더 긴 컨텍스트 모델링을 가능하게 하여 자동회귀 기반 모델 대비 훨씬 높은 품질의 장문 텍스트를 더 빠른 수렴 속도로 생성한다.

ABSTRACT

The difficulty of generating coherent long texts lies in the fact that existing models overwhelmingly focus on predicting local words, and cannot make high level plans on what to generate or capture the high-level discourse dependencies between chunks of texts. Inspired by human writing processes, where a list of bullet points or a catalog is first outlined, and then each bullet point is expanded to form the whole article, we propose {\it SOE}, a pipelined system that involves of summarizing, outlining and elaborating for long text generation: the model first outlines the summaries for different segments of long texts, and then elaborates on each bullet point to generate the corresponding segment. To avoid the labor-intensive process of summary soliciting, we propose the {\it reconstruction} strategy, which extracts segment summaries in an unsupervised manner by selecting its most informative part to reconstruct the segment. The proposed generation system comes with the following merits: (1) the summary provides high-level guidance for text generation and avoids the local minimum of individual word predictions; (2) the high-level discourse dependencies are captured in the conditional dependencies between summaries and are preserved during the summary expansion process and (3) additionally, we are able to consider significantly more contexts by representing contexts as concise summaries. Extensive experiments demonstrate that SOE produces long texts with significantly better quality, along with faster convergence speed.

연구 동기 및 목표

• 기존 모델이 국소적이고 단어별 예측에 과도하게 의존함으로써 발생하는 장문 텍스트의 일관성 문제를 해결하기 위해.
• 粗-세분화 생성의 한계, 즉 프롬프트 용량 제한과 논의 수준의 의존성 모델링 부족 문제를 해결하기 위해.
• 세그먼트를 압축된 요약으로 표현하여 모델이 훨씬 더 긴 컨텍스트를 고려할 수 있도록 하기 위해.
• 인간이 애너테이션한 요약이 필요 없이 의미 있는 세그먼트 요약을 추출하는 비지도 방법을 개발하기 위해.
• 요약-개요-확장 프로세스를 통해 파ipelined 방식으로 장문 텍스트 생성의 품질과 수렴 속도를 향상시키기 위해.

제안 방법

• SOE는 세 단계 파이프라인을 사용한다: 세그먼트 요약, 요약의 계층적 개요 작성, 각 요약을 전체 텍스트 세그먼트로 확장하는 것.
• 각 세그먼트의 가장 정보량이 많은 부분을 선택하여 재구성함으로써 비지도 방식으로 추출 요약을 추출하는 재구성 기반 전략을 사용한다.
• 이전 요약에 조건부로 요약 생성을 하여 조건부 확률을 통해 고수준의 논의적 의존성을 포착한다.
• 텍스트 생성은 이전 세그먼트의 토큰과 현재 세그먼트의 요약에 조건을 두어, 컨텍스트 인식형, 일관성 있는 확장을 가능하게 한다.
• 요약을 사용함으로써 원시 토큰에서 컨텍스트 표현을 분리함으로써 모델이 더 긴 효과적인 컨텍스트 길이를 처리할 수 있도록 한다.
• 테스트 시점에 모델은 요약에 대한 액세스를 512토큰 컨텍스트 윈도우 내로 제한하여 요약 기반 장문 컨텍스트 모델링의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 요약, 개요 작성, 확장 과정을 포함하는 계층적 생성 전략이 장문 텍스트의 일관성과 품질을 향상시키는가?
• RQ2 비지도 추출 요약 재구성 전략이 장문 텍스트 생성을 지원하는 데 있어 지도 학습 또는 히우리스틱 방법보다 어떻게 비교되는가?
• RQ3 요약-요약 조건부 조건을 통해 포착된 고수준 논의적 의존성이 텍스트 일관성에 얼마나 기여하는가?
• RQ4 원시 토큰 시퀀스보다 요약을 압축된 컨텍스트 표현으로 사용함으로써 더 나은 장문 컨텍스트 모델링이 가능한가?
• RQ5 SOE 프레임워크는 자동회귀 및 프롬프트 기반 기준 대비 학습 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• SOE는 BookCorpus에서 텍스트 생성의 PPL을 25.7로 기록하여, 바닐라 자동회귀 모델(PPL 29.0)과 WritingPrompts 기준보다 유의미하게 높은 성능을 달성했다.
• 재구성 기반 요약 추출 전략이 최고의 성능을 기록하여 MJ-4 점수 19.4를 기록했으며, TextRank(17.8)와 TF-IDF(17.3)를 모두 초월했다.
• 일관성 기반 텍스트 슬라이싱을 사용함으로써 성능 향상이 이루어졌으며, 등분할 시 PPL이 25.7에서 26.4로 증가하여 의미적 세분화의 중요성을 입증했다.
• 요약 액세스를 1,156토큰 이전 컨텍스트로 제한할 경우 PPL이 25.7에서 26.5로 증가하여 요약이 효과적인 장문 컨텍스트 모델링을 가능하게 함을 보여주었다.
• 요약 생성을 이전 요약에만 의존하도록 단순화할 경우 PPL이 30.4에서 31.2로 증가하여 세그먼트 인식 요약 생성이 필수적임을 시사했다.
• SOE는 기준 모델 대비 빠른 수렴을 보였으며, 약 200K 학습 스텝에서 최적 성능에 도달했고, 바닐라 및 WritingPrompts는 약 1M 스텝가량 소요되었다.