[논문 리뷰] CoCon: A Self-Supervised Approach for Controlled Text Generation

Alvin Chan, Yew-Soon Ong외 3명|PolyPublie (École Polytechnique de Montréal)|2020. 06. 05.

Topic Modeling참고 문헌 33인용 수 16

한 줄 요약

CoCon는 사전 훈련된 언어 모델에서 특정 콘텐츠 입력에 따라 세밀한, 콘텐츠 조건화된 텍스트 생성을 가능하게 하기 위해 경량의 CoCon 블록을 삽입하는 자기지도 학습 방법을 제안한다. 이 방법은 기본 언어 모델의 미세조정 없이도 레이블이 없는 데이터가 없이도 감성 및 주제와 같은 고수준 속성에 대해 제로샷 제어를 가능하게 하며, 높은 콘텐츠 충실도를 유지한다.

ABSTRACT

Pretrained Transformer-based language models (LMs) display remarkable natural language generation capabilities. With their immense potential, controlling text generation of such LMs is getting attention. While there are studies that seek to control high-level attributes (such as sentiment and topic) of generated text, there is still a lack of more precise control over its content at the word- and phrase-level. Here, we propose Content-Conditioner (CoCon) to control an LM's output text with a content input, at a fine-grained level. In our self-supervised approach, the CoCon block learns to help the LM complete a partially-observed text sequence by conditioning with content inputs that are withheld from the LM. Through experiments, we show that CoCon can naturally incorporate target content into generated texts and control high-level text attributes in a zero-shot manner.

연구 동기 및 목표

• 기존의 제어 텍스트 생성 방법에서 단어 수준 및 어구 수준의 세밀한 제어가 부족한 문제를 해결하기 위해.
• 사전 훈련된 언어 모델의 미세조정 없이도 고수준 속성(예: 감성, 주제)에 대해 제로샷 방식으로 제어를 가능하게 하기 위해.
• 레이블이 있는 데이터나 사전 정의된 속성 코드가 필요 없는 자기지도 학습 접근법을 개발하기 위해.
• 어떤 사전 훈련된 트랜스포머 언어 모델에도 쉽게 통합할 수 있는 모듈형이고 경량의 어댑터(CoCon 블록)를 설계하기 위해.

제안 방법

• 콘텐츠 입력에 주의를 기울이고 생성 전에 사전 훈련된 언어 모델의 은닉 상태를 조건화하는 CoCon 블록을 도입한다.
• 자기 복원 목적을 사용: 시퀀스를 두 부분으로 나누었을 때, 첫 번째 부분을 콘텐츠 입력으로 사용하여 두 번째 부분을 복원하도록 모델을 학습시킨다.
• 훈련 중 콘텐츠 마스킹을 적용하여 타겟 시퀀스에 직접 접근하는 것을 방지함으로써 CoCon 블록이 콘텐츠를 추론하고 조건화하도록 유도한다.
• 사이클 복원 손실을 사용하여 다양한 소스에서 온 콘텐츠를 조건으로 삼으면서도 생성 품질을 유지한다.
• 추론 시 학습 가능한 콘텐츠 바이어스 항목을 사용하여 콘텐츠 조건화의 강도를 민감하게 조절할 수 있도록 한다.
• 사전 훈련된 언어 모델의 가중치를 동결한 채 CoCon 블록만을 훈련함으로써 훈련 비용을 크게 줄인다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법이 사전 훈련된 언어 모델에서 미세조정 없이도 세밀한 콘텐츠 제어를 효과적으로 가능하게 할 수 있는가?
• RQ2 CoCon는 감성 및 주제와 같은 고수준 속성에 대해 얼마나 효과적으로 제로샷 방식으로 제어할 수 있는가?
• RQ3 CoCon의 콘텐츠 조건화는 PPLM 및 CTRL과 같은 강력한 베이스라인과 비교해 콘텐츠 충실도와 속성 제어 측면에서 어떻게 다른가?
• RQ4 CoCon는 추론 시에 다중 콘텐츠 입력을 다루고 바이어스 항목을 통해 조건화 강도를 민감하게 조절할 수 있는가?
• RQ5 CoCon의 자기지도 사전 훈련이 다양한 생성 작업과 콘텐츠 유형에 걸쳐 잘 일반화되는가?

주요 결과

• ROUGE 및 BERTScore로 측정했을 때, 생성된 텍스트가 제공된 콘텐츠 입력과 매우 높은 일치도를 보이며 강력한 콘텐츠 충실도를 달성한다.
• 감성 및 주제와 같은 고수준 속성에 대해 제로샷 제어를 가능하게 하며, PPLM 및 CTRL보다 속성 제어 성능이 뛰어나면서도 콘텐츠 일치도를 유지한다.
• CoCon의 자기지도 사전 훈련은 PPLM 및 CTRL과 달리 레이블이 있는 데이터나 사전 정의된 속성 코드가 필요 없음을 보여준다.
• 제거 실험을 통해 CoCon 블록이 콘텐츠 조건화에 필수적이며, 콘텐츠 바이어스 항목이 추론 시 조건화 강도 조절을 유연하게 가능하게 한다.
• 다양한 콘텐츠 입력과 생성 작업, 다중 입력 조건화 및 복합 속성 조합 등에 걸쳐 모델의 일반화 능력이 뛰어나다.