[논문 리뷰] GeDi: Generative Discriminator Guided Sequence Generation

Ben Krause, Akhilesh Deepak Gotmare외 5명|arXiv (Cornell University)|2020. 09. 14.

Topic Modeling참고 문헌 40인용 수 6

한 줄 요약

GeDi는 더 작은 클래스 조건부 언어 모델(CC-LM)을 생성적 판별자로 사용하여 대규모 언어 모델(LM) 생성을 계산적으로 효율적으로 제어하는 방법을 제안한다. 이는 목적어와 비목적어 속성 간의 분류 확률을 베이즈 정리에 의해 계산함으로써 다음 토큰에 대한 확률을 도출하여, 더 빠르고 더 제어 가능하며 더 안전한 생성을 가능하게 한다. 이로 인해 기존 방법보다 30배 이상의 속도 향상을 이룩하면서 GPT-2의 독성 수준을 낮추되 어휘 풍부성은 유지한다.

ABSTRACT

While large-scale language models (LMs) are able to imitate the distribution of natural language well enough to generate realistic text, it is difficult to control which regions of the distribution they generate. This is especially problematic because datasets used for training large LMs usually contain significant toxicity, hate, bias, and negativity. We propose GeDi as an efficient method for using smaller LMs as generative discriminators to guide generation from large LMs to make them safer and more controllable. GeDi guides generation at each step by computing classification probabilities for all possible next tokens via Bayes rule by normalizing over two class-conditional distributions; one conditioned on the desired attribute, or control code, and another conditioned on the undesired attribute, or anti control code. We find that GeDi gives stronger controllability than the state of the art method while also achieving generation speeds more than 30 times faster. Additionally, training GeDi on only four topics allows us to controllably generate new topics zero-shot from just a keyword, unlocking a new capability that previous controllable generation methods do not have. Lastly, we show that GeDi can make GPT-2 (1.5B parameters) significantly less toxic without sacrificing linguistic quality, making it by far the most practical existing method for detoxifying large language models while maintaining a fast generation speed.

연구 동기 및 목표

• 편향되거나 독성 있는 웹 데이터로 훈련된 대규모 언어 모델(LM)이 유해하거나 제어되지 않은 내용을 생성하는 문제를 해결하기 위해.
• PPLM 및 가중 카디널 디코딩과 같은 기존 제어 방법들이 어휘 크기에 따라 비례해 계산 비용이 급격히 증가하는 문제를 해결하기 위해.
• 훈련 중에 나타나지 않은 새로운 주제에 대해 제로샷 제어를 가능하게 하여, 훈련 분포를 초월한 제어 가능성 확장을 위해.
• GPT-2와 같은 대규모 LM에서 독성을 감소시키되 언어 품질을 떨어뜨리지 않는 실용적인 탈독성화 솔루션을 제공하기 위해.

제안 방법

• 베이즈 정리에 따라 클래스 조건부 언어 모델(CC-LM)을 생성적 판별자(GeDi)로 사용하여 토큰 수준의 분류 확률을 계산한다.
• 베이즈 정리를 적용하여, 바람직한 제어 코드 조건부 분포와 반대 제어 코드 조건부 분포 간의 정규화를 수행한다.
• 계산된 가능도를 기반으로 가중 디코딩을 사용하여 대규모 LM의 생성을 유도함으로써, 모든 후보를 재순서 정렬하지 않고도 효율적인 제어를 가능하게 한다.
• 생성적-판별적 손실을 혼합하여 GeDi를 훈련시켜 분류 성능를 향상시키고, 판별자로서의 효과를 높인다.
• 키워드 프ompt를 통한 일반화를 통해, 단 4개의 주제에 대해 토닝만으로도 새로운 주제에 대한 제로샷 제어가 가능하도록 하여, 훈련 데이터 외의 주제로도 일반화를 이룬다.
• 메인 모델의 재훈련이 불필요한 인퍼런스 타임 가이던스를 사용하여 GPT-2-XL과 같은 대규모 LM에 GeDi를 통합한다.

실험 결과

연구 질문

• RQ1 더 작은 생성적 판별자(GeDi)가 높은 어휘 풍부성을 유지하면서도 원하는 특성을 가진 텍스트 생성을 효과적으로 유도할 수 있는가?
• RQ2 GeDi의 추론 속도가 PPLM 및 가중 디코딩과 같은 기존 방법들보다 스케일링 시에 어떻게 비교되는가?
• RQ3 GeDi는 훈련 데이터에 포함되지 않은 새로운 주제에 대해 제로샷 제어를 일반화할 수 있는가?
• RQ4 GeDi는 GPT-2와 같은 대규모 언어 모델에서 독성을 얼마나 줄일 수 있으며, 이로 인해 텍스트 품질이 떨어지는가?
• RQ5 생성적-판별적 목적함수로 GeDi를 훈련시키면 제어 작업을 위한 판별자로서의 성능이 향상되는가?

주요 결과

• 기본 설정에서 GeDi가 GPT-2-XL을 지도로 사용할 경우, PPLM보다 30배 이상 빠른 속도를 기록하여 추론 효율성이 크게 향상된다.
• 영화 리뷰의 감성에 대해 훈련된 GeDi는 최신 기준보다 뛰어난 톤(긍정/부정) 제어 성능을 보였다.
• GeDi는 GPT-2 생성에서 독성을 감소시키면서도 언어 품질을 유지하여, 대규모 LM에 대한 가장 실용적인 탈독성화 방법이 되었다.
• GeDi는 제로샷 주제 제어로 일반화된다: 단 4개 주제에 대해 훈련한 후에도 키워드 프롬프트 하나만으로도 완전히 새로운 주제에 대해 효과적인 생성이 가능하다.
• 345M 파라미터를 가진 작은 GeDi 모델은 단일 GPU에서 하루 이내로 훈련이 가능하며, 더 큰 모델을 지도하는 데 있어 효과적이고 계산적으로 효율적이다.
• 하이브리드 훈련 목적함수로 GeDi의 판별 능력이 향상되어, 제어 작업에 있어 표준 생성적 CC-LM보다 더 효과적인 성능을 보였다.