[논문 리뷰] DIRECTOR: Generator-Classifiers For Supervised Language Modeling

Kushal Arora, Kurt Shuster외 2명|arXiv (Cornell University)|2022. 06. 15.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 공유 디코더 파rameter와 이중 헤드(언어 모델링용 및 분류용)를 갖춘 통합 언어 모델 아키텍처인 Director를 소개한다. 이는 표준 텍스트와 바람직한/바람직하지 않은 생성 예시의 레이블이 붙은 예시를 함께 훈련할 수 있도록 하여, 최소한의 속도 손실로 뛰어난 안전성과 일관성을 달성한다. 이 방법은 재정렬 및 유도 생성 기법보다 정확도와 효율성 면에서 모두 뛰어나다.

ABSTRACT

Current language models achieve low perplexity but their resulting generations still suffer from toxic responses, repetitiveness and contradictions. The standard language modeling setup fails to address these issues. In this paper, we introduce a new architecture, {\sc Director}, that consists of a unified generator-classifier with both a language modeling and a classification head for each output token. Training is conducted jointly using both standard language modeling data, and data labeled with desirable and undesirable sequences. Experiments in several settings show that the model has competitive training and decoding speed compared to standard language models while yielding superior results, alleviating known issues while maintaining generation quality. It also outperforms existing model guiding approaches in terms of both accuracy and efficiency.

연구 동기 및 목표

• 표준 언어 모델이 독성, 반복적 또는 모순적인 텍스트를 생성하는 데에 한계가 있음을 해결한다.
• 감독 데이터를 사용하여 바람직한(희망적인) 및 바람직하지 않은(불리한) 생성 예시 양측 모두에 대해 훈련할 수 있도록 한다.
• 추론 속도나 모델 효율성을 희생시키지 않고 생성 품질과 안전성을 향상시킨다.
• 독성 및 반복성과 같은 다양한 부적절한 행동에 일반적으로 적용 가능한 프레임워크를 제공한다.
• 분류 헤드를 함께 훈련하는 것이 별도의 재정렬 또는 모델 유도 방법보다 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• 이중 헤드 디코더 아키텍처 도입: 표준 언어 모델링 헤드와 각 디코더 레이어에 추가된 분류 헤드.
• 비라벨 텍스트에 대한 표준 언어 모델링 손실과 바람직한/바람직하지 않은 생성을 나타내는 레이블이 붙은 데이터에 대한 교차 엔트로피 손실을 함께 사용하여 모델을 훈련한다.
• 디코딩 중에 두 헤드의 예측을 학습 가능한 혼합 가중치를 사용해 조합하여 토큰 생성을 유도한다.
• 두 헤드 간에 대부분의 트랜스포머 디코더 파rameter를 공유하여 효율성과 파arameter 공유를 유지한다.
• 외부 분포 또는 라벨이 없는 데이터에 대한 일반화 성능을 향상시키기 위해 명시적 레이블 정규화 정규화를 적용한다.
• 반복 시퀀스(예: n-gram 반복 검출을 통한)에 대해 자동으로 레이블을 붙여 인간 레이블링 데이터 없이도 분류기 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 통합 모델 아키텍처가 언어 모델링과 바람직한/바람직하지 않은 생성의 분류를 함께 최적화할 수 있는가?
• RQ2 독성 또는 모순적인 응답의 레이블이 붙은 예시를 포함시킬 경우, 표준 언어 모델링에 비해 생성 품질과 안전성이 향상되는가?
• RQ3 정확도와 추론 속도 측면에서 Director의 성능이 재정렬 및 FUDGE, PACER와 같은 모델 유도 방법과 비교해 어떻게 되는가?
• RQ4 인간 레이블이 붙지 않은 음성 예시 없이 자동 레이블링을 사용해 반복을 효과적으로 줄일 수 있는가?
• RQ5 파arameter 공유 및 동결 전략이 언어 모델링 품질을 유지하면서 안전성을 향상시키는 데에 미치는 영향은 무엇인가?

주요 결과

• Director는 이중 헤드 아키텍처임에도 불구하고 표준 언어 모델과 경쟁 가능한 훈련 및 디코딩 속도를 달성한다.
• 안전성 및 모순성 테스트에서 Director는 표준 언어 모델에 비해 독성 및 모순적인 생성을 크게 줄였다.
• FUDGE 및 PACER보다 정확도와 속도 면에서 모두 뛰어나며, 별도의 모델이 필요로 하지 않아 추론 속도가 8~40배 빠르다.
• 언어 모델 가중치를 동결한 모델은 성능이 열악하여, 두 헤드를 함께 미세조정하는 것이 효과적인 분류를 위해 필수적임을 시사한다.
• 명시적 레이블 정규화 정규화는 다양한 작업에서 성능 향상을 이끌어내어, 애매하거나 누락된 레이블에 대한 강건성을 향상시킨다는 것을 시사한다.
• 자동으로 레이블이 붙은 반복 시퀀스를 사용할 경우, 인간 레이블이 없는 데이터로도 Director는 반복을 성공적으로 줄였으며, 이는 광범위한 적용 가능성을 보여준다.