[논문 리뷰] Progressive Generation of Long Text with Pretrained Language Models

Bowen Tan, Zichao Yang외 3명|arXiv (Cornell University)|2020. 06. 28.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 TF-IDF를 통해 키워드를 추출한 후, 미세조정된 BART 모델을 사용해 단계적으로 개선함으로써 장문의 텍스트에서의 통일감을 향상시키는 ProGen이라는 점진적 텍스트 생성 방법을 제안한다. 이 방법은 미세조정된 GPT-2 및 계획-생성 방식보다 통일감과 샘플 효율성에서 뛰어나며, 인간 평가에서 문장 수준의 통일감이 86% 이상을 기록한다.

ABSTRACT

Large-scale language models (LMs) pretrained on massive corpora of text, such as GPT-2, are powerful open-domain text generators. However, as our systematic examination reveals, it is still challenging for such models to generate coherent long passages of text (e.g., 1000 tokens), especially when the models are fine-tuned to the target domain on a small corpus. Previous planning-then-generation methods also fall short of producing such long text in various domains. To overcome the limitations, we propose a simple but effective method of generating text in a progressive manner, inspired by generating images from low to high resolution. Our method first produces domain-specific content keywords and then progressively refines them into complete passages in multiple stages. The simple design allows our approach to take advantage of pretrained LMs at each stage and effectively adapt to any target domain given only a small set of examples. We conduct a comprehensive empirical study with a broad set of evaluation metrics, and show that our approach significantly improves upon the fine-tuned large LMs and various planning-then-generation methods in terms of quality and sample efficiency. Human evaluation also validates that our model generations are more coherent.

연구 동기 및 목표

• 미세조정된 대규모 언어 모델을 사용해 1000개 이상 토큰을 포함하는 통일감 있는 장문 텍스트를 생성하는 데 도전하는 것.
• 장문의 글에서 전반적인 통일감을 확보하기 어려운 순차적 자동회귀 생성 방식의 한계를 극복하는 것.
• 작은 도메인 특화 데이터셋에서 효과적인 미세조정이 가능하도록 샘플 효율성을 향상시키는 것.
• 특수한 아키텍처나 외부 계획 모델에 의존하지 않는 유연하고 모듈화된 프레임워크를 개발하는 것.
• 다단계 개선을 통해 장문 텍스트 생성의 제어성과 품질을 향상시키는 것.

제안 방법

• 이 방법은 TF-IDF 기반 지표를 통해 특정 키워드를 추출한 후, 이를 바탕으로 다단계 점진적 생성을 수행한다.
• 각 단계에서 이전 단계의 출력을 맥락 기반 앵커로 삼아, 미세조정된 BART 모델을 사용해 더 구체적인 버전의 출력을 생성한다.
• 점진적 개선 과정을 통해 각 단계가 더 단순한 하위 작업—예를 들어, 개략적 계획을 더 높은 해상도의 텍스트로 변환하는 것—에 집중할 수 있어 훈련의 안정성과 통일감이 향상된다.
• 중간 단계는 요약기나 SRL 모델과 같은 외부 도구가 필요 없이, 도메인 전용 소규모 코퍼스만으로도 훈련이 가능하다.
• 각 단계에서 왼쪽에서 오른쪽 방향의 자동회귀 생성을 유지함으로써 표준 사전학습된 언어 모델과의 호환성을 확보한다.
• 단계 수는 조정 가능하며, 원하는 출력 품질과 계산 비용에 따라 유연하게 설정할 수 있다.

실험 결과

연구 질문

• RQ1 단일 단계의 미세조정된 언어 모델과 비교해, 다단계 점진적 생성 접근 방식이 장문 텍스트 생성의 통일감을 향상시킬 수 있는가?
• RQ2 TF-IDF로 선별한 关건어를 사용한 점진적 개선이, 소규모 도메인 코퍼스에서의 미세조정 시 샘플 효율성을 향상시키는가?
• RQ3 중간 단계의 계획 품질이 최종 텍스트 생성 품질에 미치는 영향은 어떠한가? 황금 표준 계획을 사용할 경우 성능 향상이 크게 이루어지는가?
• RQ4 훈련 중 데이터 노이즈 처리가 노출 편향을 줄이고 생성 품질을 향상시키는 데 얼마나 기여하는가?
• RQ5 표준 자동회귀 언어 모델을 사용해 비단조화적인 생성 전략을 효율적으로 구현할 수 있는가?

주요 결과

• ProGen은 인간 평가에서 문장 수준의 통일감이 86% 이상을 기록하여, 경쟁 모델보다 최소 10%포인트 이상 향상되었다.
• 단지 1,000개의 훈련 예시만으로도 ProGen은 30,000개의 예시로 미세조정된 대규모 언어 모델과 동일한 성능을 달성하여 뛰어난 샘플 효율성을 입증했다.
• 첫 번째 단계에서 황금 표준 계획을 사용함으로써 FBD-D(의미적 품질) 및 TID(어휘 품질) 지표에서 인간이 작성한 텍스트에 가까운 성능을 달성했으며, 이는 고품질의 중간 계획의 중요성을 입증한다.
• 훈련 중 데이터 노이즈 처리가 다양한 지표에서 일관되게 성능 향상을 이끌어내어, 단계별 노출 편향 감소에 기여한다는 점이 확인되었다.
• 모델의 점진적 설계 덕분에, 미세조정된 GPT-2 및 이전의 계획-생성 방법보다 더 높은 통일감을 확보했으며, BERT-NSP 점수와 인간 평가를 통해 이를 확인했다.
• ProGen의 다단계 프레임워크는 특수한 아키텍처나 외부 도구 없이도 다양한 도메인과 언어에 쉽게 적응할 수 있어, 높은 유연성을 제공한다.