[논문 리뷰] SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF

Yi Dong, Zhilin Wang외 3명|arXiv (Cornell University)|2023. 10. 09.

Topic ModelingComputer Science인용 수 3

한 줄 요약

SteerLM는 강화학습에서 인간 피드백을 얻는(Reinforcement Learning from Human Feedback, RLHF) 방법 없이도, 속성 조건부 지도 학습(Supervised Fine-Tuning, SFT)을 사용하여 사용자가 응답 속성(예: 유머, 독성 등)을 실시간으로 제어할 수 있는 언어 모델 정렬 방법을 제안한다. 이는 Vicuna 벤치마크에서 최신 기술 수준의 성능을 달성하며, ChatGPT-3.5와 같은 RLHF 기반 모델을 능가하지만, 훈련의 단순성과 런타임에서의 맞춤 설정 가능성은 더욱 뛰어나다.

ABSTRACT

Model alignment with human preferences is an essential step in making Large Language Models (LLMs) helpful and consistent with human values. It typically consists of supervised fine-tuning (SFT) and reinforcement learning from human feedback (RLHF) stages. However, RLHF faces inherent limitations stemming from a complex training setup and its tendency to align the model with implicit values that end users cannot control at run-time. Moreover, reward models in RLHF stage commonly rely on single-dimensional feedback as opposed to explicit, multifaceted signals that indicate attributes such as helpfulness, humor, and toxicity. To address these limitations, we propose SteerLM, a supervised fine-tuning method that empowers end-users to control responses during inference. SteerLM conditions responses to conform to an explicitly defined multi-dimensional set of attributes, thereby empowering a steerable AI capable of generating helpful and high-quality responses while maintaining customizability. Experiments show that SteerLM trained on open source datasets generates responses that are preferred by human and automatic evaluators to many state-of-the-art baselines trained with RLHF while being much easier to train. Try SteerLM at https://huggingface.co/nvidia/SteerLM-llama2-13B

연구 동기 및 목표

• RLHF의 한계, 즉 복잡한 훈련, 런타임 제어의 부재, 단일 차원의 선호 신호 등에 대응하기 위해.
• 다양한 속성 조건부를 통해 높은 응답 품질을 유지하면서도 더 단순하고 확장 가능한 RLHF의 대안을 개발하기 위해.
• 사용자가 유머나 독성과 같은 속성 값을 조절할 수 있도록 런타임에서 모델 행동을 제어할 수 있도록 하기 위해.
• 예측된 속성에 기반한 SFT가 표준 벤치마크에서 RLHF 성능을 따라하거나 초월할 수 있는지 입증하기 위해.
• 오픈소스 기반의 사용자 제어가 가능한 피니어 투닝을 통해 맞춤형, 고품질, 제어 가능한 AI 어시스턴트를 구현하기 위해.

제안 방법

• Open-Assistant 데이터셋의 응답-텍스트 쌍에서 다차원 속성(예: 유용성, 유머, 독성 등)을 예측하기 위한 속성 예측 모델을 훈련한다.
• 지도 학습을 위한 훈련 데이터셋을 구성하기 위해 프롬프트와 그에 해당하는 응답 및 예측된 속성을 쌍으로 묶는다.
• 표준 언어 모델링 목적을 사용하여 언어 모델을 피니어 투닝하며, 추론 시 입력 프롬프트와 원하는 속성 값에 따라 조건을 설정한다.
• 훈련 중에 노이즈 제거, 다양한, 고품질의 응답 예시를 포함하는 데이터 증강 전략을 도입하여 모델의 강건성과 품질을 향상시킨다.
• 재훈련 없이도 사용자가 속성 값을 지정(예: 독성에 대해 0~9)할 수 있도록 런타임 추론 제어를 가능하게 한다.
• 오픈소스 구현과 훈련 재현 가능성을 확보하기 위해 NVIDIA NeMo 툴킷을 활용한다.

실험 결과

연구 질문

• RQ1 복잡한 보상 모델링 없이도, 속성 조건부 SFT가 RLHF 기반 모델보다 응답 품질과 인간 선호도에서 뛰어난 성능을 내는가?
• RQ2 재훈련 없이도 사용자가 추론 시점에 특정 속성(예: 유머, 독성)을 제어할 수 있는가?
• RQ3 단일 차원의 보상 신호가 아닌 다차원 속성 조건부로 조건화하면, 모델 정렬 수준이 향상되는가?
• RQ4 SteerLM는 Vicuna와 같은 표준 벤치마크에서 최신 RLHF 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 순수하게 SFT 기반의 접근 방식이 RLHF보다 단순하고 접근성이 뛰어나면서도 경쟁력 있는 성능을 낼 수 있는가?

주요 결과

• SteerLM 43B는 자동 평가 및 인간 평가 모두에서, ChatGPT-3.5와 같은 최신 기술 수준의 기준 모델을 능가하는 성능을 보였다.
• 인간 평가자들은 SteerLM의 응답을 RLHF 기반 모델의 응답보다 더 선호하여, 인간 선호도와의 높은 일치를 보였다.
• 기본값인 0으로 설정했을 때, SteerLM 43B는 Anthropic Red Team 데이터셋에서 ChatGPT-3.5(0.06622)보다 약간 낮은 독성 수준(0.06346)을 보였다.
• 독성 속성 값을 0에서 9로 증가시키면, Perspective API 기반 독성 점수는 0.06346에서 0.10408로 상승하여 효과적인 제어를 입증했다.
• 유머 속성 값을 9로 설정했을 때 SteerLM는 농담과 유쾌한 발언을 생성하지만, 이보다 낮은 값(≤6)일 경우 농담이 아닌 응답을 생성하여 제어 가능한 유머를 보였다.
• 다양한 프롬프트, 예를 들어 '하루를 잘 보내는 좋은 방법은 무엇인가요?'와 같은 질문에 대해서도 높은 품질의 도움이 되는 응답을 유지하며, 속성 설정에 따라 톤을 조절하는 능력을 보였다.