[논문 리뷰] CTRL: A Conditional Transformer Language Model for Controllable Generation

Nitish Shirish Keskar, Bryan McCann외 3명|arXiv (Cornell University)|2019. 09. 11.

Topic Modeling참고 문헌 84인용 수 787

한 줄 요약

CTRL은 제어 코드에 조건을 둔 1.63B 매개변수 Transformer 언어 모델을 훈련하여 도메인, 스타일 및 작업-특정 생성을 조정하고, 제어 가능한 텍스트 합성 및 모델 기반 출처 속성을 가능하게 한다.

ABSTRACT

Large-scale language models show promising text generation capabilities, but users cannot easily control particular aspects of the generated text. We release CTRL, a 1.63 billion-parameter conditional transformer language model, trained to condition on control codes that govern style, content, and task-specific behavior. Control codes were derived from structure that naturally co-occurs with raw text, preserving the advantages of unsupervised learning while providing more explicit control over text generation. These codes also allow CTRL to predict which parts of the training data are most likely given a sequence. This provides a potential method for analyzing large amounts of data via model-based source attribution. We have released multiple full-sized, pretrained versions of CTRL at https://github.com/salesforce/ctrl.

연구 동기 및 목표

• 제어 코드를 통해 명시적으로 제어될 수 있는 언어 모델을 제공한다.
• 도메인- 및 작업 인식 생성을 가능하게 하면서 비지도 학습의 이점을 보존한다.
• 제어 코드를 자연 데이터 구조(도메인, URL 등)에서 도출할 수 있음을 입증한다.
• CTRL이 생성된 콘텐츠를 학습 데이터 하위 집합과 연결하여 출처 귀속을 가능하게 하는 방법을 보여준다.
• 질의 응답 및 기계 번역과 같은 작업별 제어 코드를 탐구한다.

제안 방법

• 제어 코드 c에 조건된 대형 Transformer 언어 모델을 학습하여 교차 엔트로피 손실로 p(x|c)를 학습한다.
• 훈련 시퀀스마다 도메인 제어 코드를 앞에 추가하여 도메인 텍스트 전반에 전파한다.
• 약 250K 토큰 규모의 어휘와 256 또는 512의 시퀀스 길이를 슬라이딩 윈도우 생성 방식으로 사용한다.
• 도메인, 콘텐츠, 작업-특정 제어 코드를 도메인, URL, 링크 등의 데이터 구조에서 도출하여 포함시킨다.
• 생성 중 진실성과 반복 사이의 균형을 맞추기 위해 근사-그리디 페널티 샘플링 방법을 제안한다.
• 질문 응답 및 번역과 같은 작업을 위한 복합 제어 코드를 시연하고 제로샷 코드-혼합 능력을 보여준다.

실험 결과

연구 질문

• RQ1 일반 언어 모델링 능력을 보존하면서 명시적 제어 코드가 도메인, 스타일 및 콘텐츠 전반의 생성을 조정할 수 있는가?
• RQ2 자연 데이터 구조에서 도출된 제어 코드가 무거운 프롬프트 없이도 예측 가능하고 도메인 특화된 생성을 가능하게 하는가?
• RQ3 QA 및 번역과 같은 작업별 생성에 대한 제어 코드의 영향은 무엇인가?
• RQ4 CTRL이 제어 코드를 통해 출력물을 학습 데이터의 하위 집합과 연결하여 출처 귀속을 지원할 수 있는가?
• RQ5 크기에 따라 제어 가능하고 일관된 생성를 가장 잘 지원하는 샘플링 및 학습 선택은 무엇인가?

주요 결과

• CTRL은 도메인, 스타일, 주제, 날짜, 엔터티 및 관계를 지정하는 제어 코드에 조건화된 텍스트를 생성할 수 있다.
• 동일한 프롬프트라도 도메인 및 템플릿 전반의 예에서 보듯 제어 코드는 도메인 특화된 변화를 가능하게 한다.
• 페널티 샘플링 방법은 모델 분포에 대한 준수를 유지하면서 반복을 줄여 사실성 및 일관성을 향상시킨다.
• 제어 코드는 Q&A 및 번역에 대해 CTRL 내 작업-특정 기능에 대한 간단한 접근을 제공한다.
• 훈련 중에 사용된 URL 및 기타 데이터 구조는 추론 시 도메인, 하위 도메인, 엔티티, 관계 및 날짜의 사양을 가능하게 한다.
• CTRL은 제로샷 코드-혼합을 가능하게 하여 교차 도메인 및 교차 작업 제어 가능성을 보여준다.