[논문 리뷰] Language modeling via stochastic processes

Rose E Wang, Esin Durmus외 2명|arXiv (Cornell University)|2022. 03. 21.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 장문 텍스트의 일관성 향상을 위해 잠재 공간에서 브라운 운동 다리 과정으로서의 텍스트 생성을 모델링하는 새로운 대비 학습 프레임워크인 Time Control(이하 TC)을 제안한다. 시작점과 끝점에 고정된 잠재 경로를 학습함으로써, GPT-2가 더 구조적으로 일관되고 자연스러운 장문 텍스트를 생성할 수 있게 되었으며, 장기 생성 과업에서 논의 일관성과 길이 일관성 측면에서 기준 모델 대비 최대 +90% 향상되었다.

ABSTRACT

Modern language models can generate high-quality short texts. However, they often meander or are incoherent when generating longer texts. These issues arise from the next-token-only language modeling objective. Recent work in self-supervised learning suggests that models can learn good latent representations via contrastive learning, which can be effective for discriminative tasks. Our work analyzes the application of contrastive representations for generative tasks, like long text generation. We propose one approach for leveraging constrastive representations, which we call Time Control (TC). TC first learns a contrastive representation of the target text domain, then generates text by decoding from these representations. Compared to domain-specific methods and fine-tuning GPT2 across a variety of text domains, TC performs competitively to methods specific for learning sentence representations on discourse coherence. On long text generation settings, TC preserves the text structure both in terms of ordering (up to $+15\%$ better) and text length consistency (up to $+90\%$ better).

연구 동기 및 목표

• 자기회귀 언어 모델에서 전역 계획 수립 및 텍스트 구조 모델링의 부족으로 인한 장문 텍스트 생성의 비일관성 문제를 해결한다.
• 확률적 과정을 통해 학습된 대비 표현이 장문 생성에서 특히 향상된 생성 품질을 이끌 수 있는지 탐색한다.
• 학습 가능한 잠재 과정을 통해 시간 동역학을 명시적으로 모델링하는 방법을 개발하며, 도메인 특화 히ュ리스틱을 회피한다.
• 학습된 잠재 경로에 조건을 주어 생성하는 것이 표준 자기회귀 디코딩에 비해 논의 일관성과 구조적 일관성 향상에 기여하는지 입증한다.
• 다양한 텍스트 도메인에서 생성 모델링에 대해 브라운 운동 다리 역학을 활용한 대비 학습의 효과를 검증한다.

제안 방법

• 시작점에서 끝점으로 향하는 잠재 경로를 모델링하기 위해 브라운 운동 다리 확률적 과정에 기반한 대비 학습 목표를 수립한다.
• 일관된 문서는 부드럽고 시간에 따라 상관관계가 있는 경로를 따르고, 비일관되거나 뒤섞인 문서는 잡음이 많고 구조가 없는 경로를 생성하는 잠재 공간을 학습한다.
• 텍스트 생성을 두 단계로 분해한다: 첫째, 브라운 운동 다리 과정에서 잠재 표현의 시퀀스를 샘플링하고, 둘째, GPT-2를 해당 잠재 상태에 조건부로 문장을 생성하도록 한다.
• 근접한 문장 표현은 가까이, 먼 문장 표현은 멀리 있도록 하는 대비 손실을 사용하며, 고정된 시작 및 끝 잠재 표현에 의해 역학이 제약된다.
• GPT-2를 잠재 시퀀스에 조건부로 미세조정하여 목표 지향적이고 구조적으로 일관된 생성을 가능하게 한다.
• 핵심 구성 요소를 아블레이션: 대비 목표, 브라운 운동 다리 역학, 잠재 동역학의 명시적 모델링, 잠재 계획에 기반한 디코딩.

실험 결과

연구 질문

• RQ1 확률적 과정을 통해 학습된 대비 표현이 장문 텍스트 생성의 일관성 향상에 기여할 수 있는가?
• RQ2 잠재 공간에서 텍스트를 브라운 운동 다리로 모델링하는 것이 표준 자기회귀 모델링에 비해 더 나은 구조적 및 논의 일관성을 제공하는가?
• RQ3 브라운 운동 다리로 명시적으로 잠재 동역학을 모델링하는 것이 브라운 운동이나 VAE와 같은 간단한 과정에 비해 텍스트 진화를 얼마나 잘 포착하는가?
• RQ4 직접 자기회귀 생성에 비해 학습된 잠재 계획에 기반한 디코딩이 텍스트 품질 향상에 얼마나 기여하는가?
• RQ5 어느 텍스트 도메인에서 이 방법이 특히 유리한가? 또 다른 도메인(예: 조리법 도메인)에서 성능이 떨어지는 이유는 무엇인가?

주요 결과

• Time Control는 장문 텍스트 생성에서 기준 모델 대비 최대 90% 향상된 길이 일관성 향상을 보이며, 출력 길이에 대한 더 강력한 제어력을 보여준다.
• Time Control는 기준 모델 대비 최대 15% 향상된 순서 일관성 향상을 보이며, 텍스트 구조 및 순서 무결성 유지 능력 향상을 입증한다.
• Time Control가 학습한 잠재 경로는 일관된 문서에서는 명확하고 시간에 따라 상관관계 있는 구조를 보이며, 뒤섞인 문서에서는 잡음이 많고 변화하지 않는 경로를 생성한다.
• 레시피 도메인에서는 VAE 기준 모델이 Time Control보다 더 우수한 성능을 보이며, 이는 시간적 구조만으로는 모든 도메인에서 충분하지 않으며, 섹션 수준 통계 등의 다른 요소도 중요할 수 있음을 시사한다.
• 아블레이션 연구를 통해 대비 목표와 브라운 운동 다리 역학의 명시적 모델링이 성능 향상에 핵심적임을 확인하였으며, 목표 지향적이지 않은 디코딩은 성능이 열 劣하다.
• 다양한 도메인에서 경쟁적인 논의 일관성 향상을 달성하였으며, 도메인 특화 히ュ리스틱이 필요 없이도 작업별 최적화 방법과 비견되거나 그 이상의 성능을 발휘한다.