[논문 리뷰] DExperts: Decoding-Time Controlled Text Generation with Experts and Anti-Experts

Alisa Liu, Maarten Sap외 5명|arXiv (Cornell University)|2021. 05. 07.

Topic Modeling참고 문헌 41인용 수 11

한 줄 요약

DExperts는 디코딩 단계에서 작동하는 제어형 텍스트 생성을 위한 방법을 제안하며, 사전 훈련된 언어 모델의 출력을 전문가(expert)와 반전문가(anti-expert)라는 소형 언어 모델을 통해 재가중한다. 전문가는 바람직한 텍스트 속성, 반전문가는 바람직하지 않은 속성에 대해 피나이팅된 소형 언어 모델이다. 이 방법은 독성 제거 및 감성 제어에서 기존 방법들을 능가하며, 최소한의 데이터나 GPT-3와 같은 대규모 모델을 API로 접근할 때에도 어휘의 자연스러움과 일반화 능력을 유지한다.

ABSTRACT

Despite recent advances in natural language generation, it remains challenging to control attributes of generated text. We propose DExperts: Decoding-time Experts, a decoding-time method for controlled text generation that combines a pretrained language model with "expert" LMs and/or "anti-expert" LMs in a product of experts. Intuitively, under the ensemble, tokens only get high probability if they are considered likely by the experts, and unlikely by the anti-experts. We apply DExperts to language detoxification and sentiment-controlled generation, where we outperform existing controllable generation methods on both automatic and human evaluations. Moreover, because DExperts operates only on the output of the pretrained LM, it is effective with (anti-)experts of smaller size, including when operating on GPT-3. Our work highlights the promise of tuning small LMs on text with (un)desirable attributes for efficient decoding-time steering.

연구 동기 및 목표

• 기본 언어 모델의 가중치를 재학습하거나 수정하지 않고도 생성된 텍스트의 바람직하지 않은 속성(예: 독성, 부정적 감성 등)을 제어하는 데 도전하는 것.
• 기본 언어 모델을 재학습하거나 피나이팅하지 않고도 대규모 사전 훈련된 언어 모델(GPT-3 등)을 추론 단계에서 경량이고 효율적으로 조정할 수 있는 방법을 개발하는 것.
• 특정 속성 분포에 대해 훈련된 소형 전문가 및 반전문가 언어 모델을 사용하여 효과적인 제어를 가능하게 하는 것.
• 직접 전문가 및 반전문가 모델의 확률을 통합하는 방식이, 클래스 확률을 추정하는 방식(예: GeDi 또는 FUDGE)보다 더 효과적인가를 입증하는 것.
• 비독성 예제의 레이블이 필요 없이도 반전문가 모델만을 사용하는 경우에도 효과적으로 작동함을 보여주는 것.

제안 방법

• DExperts는 기본 사전 훈련된 언어 모델과 전문가 언어 모델(유용한 속성을 모델링) 및 반전문가 언어 모델(유해한 속성을 모델링)을 전문가의 곱(Product-of-Experts) 공식을 통해 통합한다.
• 각 디코딩 단계에서 기본 모델의 로짓을 전문가와 반전문가의 로짓 차이를 사용해 재가중한다: $\tilde{\mathbf{z}}_t = \mathbf{z}_t + \alpha(\mathbf{z}^{+}_t - \mathbf{z}^{-}_t)$, 여기서 $\alpha$는 조향 강도를 제어한다.
• 재가중된 로짓에 대해 소프트맥스를 적용하여 최종 토큰 분포를 도출함으로써, 자연스러움과 다양성을 유지하면서도 제어된 생성이 가능하다.
• 이 방법은 기본 모델의 출력에만 의존하므로, GPT-3와 같은 블랙박스 모델을 API로 접근할 때도 호환 가능하다.
• 전문가 및 반전문가 모델은 소규모 인간 레이블이 부여된 데이터셋(예: 650개의 독성 댓글)을 사용해 훈련되어 특정 속성을 모델링한다.
• 이 방법은 다양한 속성으로 일반화 가능하다: 독성 제어와 감성 제어 모두에 적용되어 강건성과 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 기본 모델의 가중치에 접근할 수 없더라도 전문가 및 반전문가 언어 모델 기반의 디코딩 단계 방법이 생성된 텍스트의 독성을 효과적으로 줄일 수 있는가?
• RQ2 자동 평가 및 인간 평가 모두에서 DExperts는 독성 제거 측면에서 기존의 제어형 생성 방법보다 얼마나 잘 성능을 내는가?
• RQ3 비독성 예제의 레이블이 필요 없이 반전문가 모델만을 사용하고 기본 모델을 전문가로 재사용하는 방식으로도 DExperts가 효과적으로 작동하는가?
• RQ4 특히 반대 감성을 유도하도록 설계된 프롬프트 상황에서, DExperts는 감성 제어에 얼마나 효과적인가?
• RQ5 소형으로 피나이팅된 전문가 및 반전문가 모델이 대규모 고정된 기본 모델을 가볍고 추론 단계에서 효과적으로 조정할 수 있는가?

주요 결과

• DExperts는 자동 평가 및 인간 평가 모두에서 언어의 독성 제거 측면에서 기존 방법들을 능가하며, 독성을 효과적으로 줄이면서도 높은 자연스러움과 다양성을 유지한다.
• 반전문가 모델을 훈련하는 데 단 650개의 독성 댓글만 사용해도 성능이 뛰어나 데이터 효율성이 높음을 입증한다.
• 비독성 예제가 필요 없이 반전문가 모델만을 사용하고 기본 모델을 전문가로 활용하는 방식으로도 DExperts는 효과적으로 작동함을 보여, 비독성 훈련 데이터가 없이도 독성 완화가 가능하다.
• 감성 제어 측면에서 DExperts는 자동 평가 및 인간 평가 모두에서 베이스라인을 능가하며, 특히 부정적 또는 긍정적 계속 작성 유도를 목적으로 한 프롬프트를 사용하는 악성 환경에서 뛰어난 성능을 보인다.
• 이 방법은 다양한 속성으로 일반화 가능하며, GPT-3를 API로 접근해 적용해도 강력한 성능을 유지함으로써 대규모 블랙박스 모델과의 호환성을 입증한다.
• 전문가 및 반전문가 모델의 출력을 직접 확률 통합하는 방식이, GeDi나 FUDGE처럼 클래스 확률을 추정하는 방식보다 더 효과적임을 입증한다.