[논문 리뷰] Pretraining Language Models with Human Preferences

Tomasz Korbak, Kejian Shi외 6명|arXiv (Cornell University)|2023. 02. 16.

Hate Speech and Cyberbullying Detection인용 수 26

한 줄 요약

이 논문은 인간 선호 목표(특히 조건부 학습)로 언어 모델을 사전학습시킬 때 바람직하지 않은 콘텐츠를 현저히 줄이면서 다운스트림 성능을 보존하는 모델을 만들고, 피드백 파인튜닝을 수반한 표준 MLE 사전학습보다 우수하다는 것을 보여준다.

ABSTRACT

Language models (LMs) are pretrained to imitate internet text, including content that would violate human preferences if generated by an LM: falsehoods, offensive comments, personally identifiable information, low-quality or buggy code, and more. Here, we explore alternative objectives for pretraining LMs in a way that also guides them to generate text aligned with human preferences. We benchmark five objectives for pretraining with human feedback across three tasks and study how they affect the trade-off between alignment and capabilities of pretrained LMs. We find a Pareto-optimal and simple approach among those we explored: conditional training, or learning distribution over tokens conditional on their human preference scores given by a reward model. Conditional training reduces the rate of undesirable content by up to an order of magnitude, both when generating without a prompt and with an adversarially-chosen prompt. Moreover, conditional training maintains the downstream task performance of standard LM pretraining, both before and after task-specific finetuning. Pretraining with human feedback results in much better preference satisfaction than standard LM pretraining followed by finetuning with feedback, i.e., learning and then unlearning undesirable behavior. Our results suggest that we should move beyond imitation learning when pretraining LMs and incorporate human preferences from the start of training.

연구 동기 및 목표

• 사전학습 중에만이 아니라 파인튜닝뿐 아니라 언어 모델을 인간의 선호와 일치시키는 필요성을 동기 부여한다.
• 다섯 가지 인간 피드백 사전학습 목표를 조사하고 이를 표준 MLE 사전학습과 비교한다.
• 독성, PII 누출, PEP8 준수 코드 과제에서 정렬성과 능력을 평가한다.
• 파레토 최적 목표를 식별하고 PHF 방법에 대한 실용적인 지침을 제공한다.

제안 방법

• 각 학습 세그먼트에 대해 세그먼트 수준 보상 함수 R로 사전학습을 형식화한다.
• 다섯 가지 PHF 목표(조건부 학습, 데이터셋 필터링, 불가능성 손실, 보상 가중 회귀, 이점 가중 회귀) 대 표준 MLE와 비교한다.
• 독성, PII 및 PEP8 과제를 위해 3.32B 토큰 데이터셋에서 124M 매개변수의 GPT-2 소형 아키텍처를 사용한다.
• 정렬 실패 점수(음의 보상)로 정렬을 평가하고, GPT-3 대비 KL 발산 및 다운스트림 벤치마크를 통한 모델 능력을 평가한다.
• 작업 전반에 걸친 레드팀핑 및 적대적 프롬프트에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 PHF로의 사전학습이 정렬성과 능력 지표 전반에서 표준 MLE 사전학습 후 피드백 파인튜닝보다 우수한가?
• RQ2 독성, PII 및 PEP8 과제에서 가장 좋은 정렬-능력 트레이드오프를 제공하는 PHF 목표는 무엇인가?
• RQ3 사전학습 중 인간 선호를 도입하는 것이 LM 안전성과 유용성에 대해 파레토 최적 솔루션을 창출하는가?
• RQ4 MLE로 학습한 기준선과 비교하여 PHF로 학습된 LM의 레드팀 대응은 얼마나 강건한가?
• RQ5 PHF로 학습된 모델이 제로샷 및 GLUE 유사 다운스트림 과제에서 성능을 유지하는가?

주요 결과

• 조건부 학습은 세 가지 과제 모두에 걸쳐 파레토 최적이며, 독성 및 PEP8에 대해선 종종 엄밀하게 최적이다.
• PHF 방법은 표준 MLE에 비해 원치 않는 콘텐츠를 최대 한 자릿수(10배)까지 감소시킨다.
• PHF는 표준 MLE 플러스 피드백 파인튜닝보다 동등하거나 더 나은 정렬성을 보이며 제로샷 및 GLUE 벤치마크를 따라갈 수 있다.
• MLE-사전학습 모델의 피드백으로 파인튜닝하는 것은 일반적으로 처음부터 PHF로 학습한 경우보다 성능이 떨어진다.
• PHF 목표는 MLE 대비 적대적 강건성을 향상시키지만 모든 취약점을 제거하지는 못한다.