[논문 리뷰] Controlling Conditional Language Models without Catastrophic Forgetting

Tomasz Korbak, Hady Elsahar외 2명|arXiv (Cornell University)|2021. 12. 01.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 조건부 언어 모델를 특정 제어 목표(예: 요약 시 사실성 일관성 또는 코드 생성 시 PEP8 준수)를 충족하도록 미세조정하면서도 치명적인 기억 상실(catastrophic forgetting)을 방지하는 조건부 DPG(CDPG)를 제안한다. CDPG는 조건부 에너지 기반 모델을 사용하여 미세조정를 안내함으로써 번역, 요약, 코드 생성 작업 전반에서 원래 모델의 일반적 능력을 유지하면서도 제어 기준과의 일치도를 향상시킨다.

ABSTRACT

Machine learning is shifting towards general-purpose pretrained generative models, trained in a self-supervised manner on large amounts of data, which can then be applied to solve a large number of tasks. However, due to their generic training methodology, these models often fail to meet some of the downstream requirements (e.g., hallucinations in abstractive summarization or style violations in code generation). This raises the important question of how to adapt pre-trained generative models to meet all requirements without destroying their general capabilities ("catastrophic forgetting"). Recent work has proposed to solve this problem by representing task-specific requirements through energy-based models (EBMs) and approximating these EBMs using distributional policy gradients (DPG). Despite its effectiveness, this approach is however limited to unconditional distributions. In this paper, we extend DPG to conditional tasks by proposing Conditional DPG (CDPG). We evaluate CDPG on four different control objectives across three tasks (translation, summarization and code generation) and two pretrained models (T5 and GPT-Neo). Our results show that fine-tuning using CDPG robustly moves these pretrained models closer towards meeting control objectives and -- in contrast with baseline approaches -- does not result in catastrophic forgetting.

연구 동기 및 목표

• 특정 제어 목표를 충족시키기 위해 조건부 언어 모델을 미세조정할 때 일반적 능력을 상실하지 않도록 하는 문제를 해결하기 위해.
• 원래 무조건적 생성에 국한되어 있던 분포 정책 기반 강화학습(DPG)을 맥락에 따라 제어가 필요한 조건부 설정으로 확장하기 위해.
• 원래 모델의 분포적 성질을 유지하는 조건부 에너지 기반 모델(EBM)을 사용하여 미세조정 중 치명적인 기억 상실을 완화하기 위해.
• T5와 GPT-Neo라는 두 개의 사전학습된 모델을 대상으로 번역, 요약, 코드 생성 등 다양한 작업에서 CDPG의 성능을 평가하기 위해.
• CDPG가 제어 목표 이행을 향상시키면서도 생성 품질과 다양성을 유지하거나 향상시키는지 입증하기 위해.

제안 방법

• CDPG는 제어 목표를 조건부 에너지 기반 모델(EBM)을 통해 모델링함으로써 DPG를 확장한다. 여기서 각 맥락 c는 고유한 비정규화된 분포 P_c를 정의한다.
• 이 방법은 모델의 조건부 분포 p_c와 정규화된 EBM P_c 사이의 평균 발산을 최소화함으로써 제어 제약 조건과의 일치도를 보장한다.
• 분포 정책 기반 강화학습을 사용하여 모델 파라미터 θ를 최적화하며, 조건부 EBM 하에서 샘플링된 시퀀스로부터의 기울기 추정치에 기반해 파라미터를 업데이트한다.
• 생성된 시퀀스 x가 맥락 c에 대해 제어 목표를 충족하는지 여부를 나타내는 보상 신호 b(x,c)를 활용하여 지도 학습이 아닌 강화학습 스타일의 학습을 가능하게 한다.
• 사전학습된 모델(T5 및 GPT-Neo)에 대해 종단간(end-to-end)으로 미세조정를 수행함으로써 사전학습 시의 유도적 편향을 유지하면서도 작업에 특화된 제약 조건에 적응한다.
• 이 방법은 세 가지 제어 목표에 적용된다: 아라비아 숫자에서 아라비아 숫자로의 번역, 요약에서의 사실성 일관성, 코드 생성에서의 PEP8 준수.

실험 결과

연구 질문

• RQ1 분포 정책 기반 강화학습을 조건부 언어 모델로 확장하여 치명적인 기억 상실 없이 제어를 가능하게 할 수 있는가?
• RQ2 CDPG는 요약 및 코드 생성에서 사실성 일관성 또는 스타일 준수와 같은 제어 목표를 얼마나 효과적으로 이행할 수 있는가?
• RQ3 기본 모델의 미세조정 및 강화학습 방법과 비교해 CDPG는 생성 품질과 다양성을 유지하거나 향상시키는가?
• RQ4 CDPG는 숫자를 아라비아 숫자로 번역하거나 PEP8 준수 코드를 생성하는 등의 제어 제약 조건을 이행할 가능성을 얼마나 높이는가?
• RQ5 CDPG는 T5, GPT-Neo와 같은 다양한 모델과 번역, 요약, 코드 생성 등의 다양한 작업에 대해 최소한의 아키텍처 변경으로 일반화 가능한가?

주요 결과

• 원래 모델 대비 숫자를 아라비아 숫자로 번역하는 제약 조건을 충족하는 시퀀스를 생성할 확률이 CDPG에서 116배 증가했다.
• 요약 작업에서 CDPG 미세조정은 사실성 일관성을 향상시켜 요약문 내 정확하고 관련성이 높은 명사어를 증가시키고 Rouge 점수를 상승시켰다.
• 코드 생성 작업에서 CDPG는 PEP8 위반 수를 감소시키고 컴iles성공률을 평균 40%에서 80% 이상으로 끌어올렸다. 이는 스타일 제약 조건 준수 능력이 뛰어나다는 것을 보여준다.
• 강화학습 기반 모델과 달리 CDPG는 생성된 텍스트의 다양성이나 유창성을 떨어뜨리지 않아 모델 품질을 유지했다.
• CDPG는 T5와 GPT-Neo 모두에서 모든 작업에 대해 효과적으로 미세조정하여 다양한 모델 아키텍처 간의 강건성과 일반화 능력을 입증했다.
• 이 방법은 치명적인 기억 상실을 성공적으로 방지하여 원래 모델의 광범위한 능력을 유지하면서도 목표 제어를 달성했다.