[논문 리뷰] Progressive Generation of Long Text.

Bowen Tan, Zichao Yang외 3명|arXiv (Cornell University)|2020. 06. 28.

Topic Modeling참고 문헌 44인용 수 24

한 줄 요약

이 논문은 도메인 특화 키워드를 먼저 생성한 다음 단계별로 이를 개선하여 일관된 장문의 텍스트를 생성하는 점진적이고 굵기에서 세밀함으로 향하는 텍스트 생성 방법을 제안한다. 각 단계에서 사전 학습된 언어 모델을 활용함으로써, 미세조정된 GPT-2에 비해 자원이 적은 도메인에서 장문 생성 품질과 샘플 효율성이 크게 향상된다.

ABSTRACT

Large-scale language models pretrained on massive corpora of text, such as GPT-2, are powerful open-domain text generators. However, as our systematic examination reveals, it is still challenging for such models to generate coherent long passages of text ($>$1000 tokens), especially when the models are fine-tuned to the target domain on a small corpus. To overcome the limitation, we propose a simple but effective method of generating text in a progressive manner, inspired by generating images from low to high resolution. Our method first produces domain-specific content keywords and then progressively refines them into complete passages in multiple stages. The simple design allows our approach to take advantage of pretrained language models at each stage and effectively adapt to any target domain given only a small set of examples. We conduct a comprehensive empirical study with a broad set of evaluation metrics, and show that our approach significantly improves upon the fine-tuned GPT-2 in terms of domain-specific quality and sample efficiency. The coarse-to-fine nature of progressive generation also allows for a higher degree of control over the generated content.

연구 동기 및 목표

• 작은 도메인 특화 데이터셋에서 미세조정된 대규모 언어 모델을 사용해 1000토큰 이상의 일관된 장문 텍스트를 생성하는 데 도전하는 것.
• 미세조정에 사용 가능한 예시가 몇 개 밖에 없는 자원이 적은 환경에서 샘플 효율성을 향상시키는 것.
• 다단계 생성 과정을 통해 생성된 콘텐츠에 대한 제어를 향상시키는 것.
• 광범위한 미세조정 없이도 사전 학습된 언어 모델을 새로운 도메인에 효과적으로 적응시키는 것.

제안 방법

• 이 방법은 입력 프롬프트 또는 작업 설명에서 도메인 특화 키워드를 추출하는 것으로 시작하여 다단계로 텍스트를 생성한다.
• 첫 번째 단계에서 언어 모델이 목표 도메인과 원하는 콘텐츠에 관련된 핵심적인 키워드의 압축된 집합을 생성한다.
• 후속 단계에서는 자동회귀 생성을 통해 이러한 키워드를 점차적으로 확장하고 개선하여 더 긴 일관된 어휘 및 문장으로 변환한다.
• 각 단계는 이전 단계의 출력을 기반으로 점차 더 세부적인 콘텐츠를 생성하기 위해 미세조정된 사전 학습된 언어 모델(예: GPT-2)을 사용한다.
• 이 과정은 모듈식이며, 각 단계에서 소량의 주석이 달린 예시만으로도 도메인 특화 적응이 가능하다.
• 粗-세밀 설계 덕분에 콘텐츠를 점진적으로 구축함으로써 장문 생성의 제어력과 일관성을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 직접 미세조정된 대규모 언어 모델에 비해 점진적이고 단계적인 생성 접근 방식이 장문 텍스트 생성의 일관성과 품질을 향상시키는가?
• RQ2 각 도메인당 몇 개의 레이블이 있는 자원이 적은 환경에서 제안된 방법의 성능은 어떠한가?
• RQ3 粗-세밀 설계가 생성된 장문 텍스트의 제어력과 일관성에 얼마나 기여하는가?
• RQ4 이 방법은 장문의 문장(1000토큰 이상)에서 사실적이고 의미적인 일관성을 유지하거나 향상시키는가?

주요 결과

• 점진적 생성 방법은 미세조정된 GPT-2에 비해 고품질의 도메인 특화 장문 텍스트 생성에서 뚜렷한 승리를 거두었다.
• 이 방법은 훨씬 적은 학습 예시로도 뛰어난 성능을 달성하여 높은 샘플 효율성을 입증했다.
• 粗-세밀 구조는 단계적 개선을 통해 장문에서의 일관성과 일관성을 향상시켰다.
• 각 단계가 이전 단계를 기반으로 세부 정보를 점차 증가시키므로, 콘텐츠 구성에 대한 더 큰 제어력을 제공한다.