[논문 리뷰] Fine-Tuning Language Models with Advantage-Induced Policy Alignment

Banghua Zhu, Hiteshi Sharma외 5명|arXiv (Cornell University)|2023. 06. 04.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 인간 피드백을 사용한 언어 모델 토닝을 위한 새로운 강화학습 알고리즘인 이점 유도 정책 정렬(Advantage-Induced Policy Alignment, APA)을 제안한다. 추정된 이점에서 유도된 목표 정책와 정책 간 제곱 오차 손실을 최소화함으로써, PPO와 AWR에 비해 더 높은 샘플 효율성, 안정적인 훈련, 그리고 하이퍼파라미터 민감도 감소를 달성하며, HH 및 StackExchange 데이터셋에서 일관되게 슈퍼어리어를 기록한다. 이는 정책 분리에 대한 더 엄격한 제어를 유지한다.

ABSTRACT

Reinforcement learning from human feedback (RLHF) has emerged as a reliable approach to aligning large language models (LLMs) to human preferences. Among the plethora of RLHF techniques, proximal policy optimization (PPO) is of the most widely used methods. Despite its popularity, however, PPO may suffer from mode collapse, instability, and poor sample efficiency. We show that these issues can be alleviated by a novel algorithm that we refer to as Advantage-Induced Policy Alignment (APA), which leverages a squared error loss function based on the estimated advantages. We demonstrate empirically that APA consistently outperforms PPO in language tasks by a large margin, when a separate reward model is employed as the evaluator. In addition, compared with PPO, APA offers a more stable form of control over the deviation from the model's initial policy, ensuring that the model improves its performance without collapsing to deterministic output. In addition to empirical results, we also provide a theoretical justification supporting the design of our loss function.

연구 동기 및 목표

• PPO 기반 인간 피드백을 통한 강화학습(RLHF)에서의 불안정성, 낮은 샘플 효율성, 높은 하이퍼파라미터 민감도 문제를 해결하기 위해.
• 언어 모델을 인간 선호도에 맞추기 위해 PPO와 이점 기반 가중 회귀(AWR)의 더 안정적이고 효율적인 대안을 개발하기 위해.
• 중요도 비율 추정을 피하는 이점 추정 기반 새로운 손실 함수에 대한 이론적 근거를 제공하기 위해.
• 표준 벤치마크에서 보상 모델 점수와 GPT-4 선호도 애너테이션을 사용하여 방법의 실증적 검증을 수행하기 위해.

제안 방법

• APA는 초기 정책과 추정된 이점 기반 보정 항을 포함하는 목표 정책와의 정책 간 제곱 오차 손실을 사용하여 언어 모델의 정책을 직접 정렬한다.
• 목표 정책는 온라인 롤아웃에서 추정된 이점 기반의 초기 정책와 조합하여 구성되며, 중요도 비율 추정 없이 직접 정책 개선이 가능하다.
• PPO의 클리핑 메커니즘과 AWR의 곱셈 재가중 방식을 피하기 위해, 현재 정책와 추정된 이점에만 의존하는 인구 손실(population loss)을 사용한다.
• 알고리즘은 초기 정책로부터의 KL 발산을 제어하기 위한 단일 하이퍼파라미터 λ를 도입하여, PPO의 다중 클리핑 범위 및 KL 계수 파rameter에 비해 하이퍼파라미터 튜닝을 단순화한다.
• 손실 함수는 고정된 이점 추정 하에서 최적 정책로 수렴할 수 있음을 증명할 수 있도록 설계되어, 이론적 기반을 제공한다.
• 훈련은 최적화 도중 새로운 롤아웃을 생성하는 온라인 설정에서 수행되며, 지속적인 피드백과 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 PPO와 AWR에 비해 이점 추정 기반 손실 함수가 언어 모델의 RLHF에서 샘플 효율성과 훈련 안정성 향상에 기여하는가?
• RQ2 정책 업데이트에서 중요도 비율 추정을 피할 경우, 언어 모델 정렬에서 더 안정적이고 신뢰할 수 있는 정책 최적화가 이루어지는가?
• RQ3 APA의 단일 하이퍼파라미터 KL 제어 방식이 PPO의 다중 하이퍼파라미터 KL 제어 방식에 비해 성능 및 내구성 측면에서 어떻게 비교되는가?
• RQ4 특히 작은 모델에서 PPO에 비해 APA는 정책 다양성을 얼마나 잘 유지하고 있으며, 모드 붕괴를 얼마나 효과적으로 방지하는가?
• RQ5 데이터셋이 고정되어 있고 분포 이탈이 발생할 수 있는 오프라인 RL 환경에서 APA는 어떻게 성능을 발휘하는가?

주요 결과

• 동일한 수의 샘플로 미세조정한 결과, APA는 HH 및 StackExchange 데이터셋에서 PPO와 AWR보다 유의미하게 높은 보상 점수를 기록하여 뛰어난 샘플 효율성을 입증한다.
• APA는 PPO가 정책 분리가 안전한 임계값을 초과할 때 관찰되는 갑작스러운 성능 저하를 피하며, 더 안정적인 훈련 궤적을 유지한다.
• 최종 정책와 초기 정책 간의 KL 발산은 APA에서 PPO보다 일관되고 예측 가능하게 낮다. 이는 정책 이탈 제어에 더 나은 성능을 보임을 시사한다.
• APA는 단일 주요 하이퍼파라미터(즉, KL 제어를 위한 λ)만 필요로 하며, PPO는 클리핑 범위와 KL 계수 등 여러 파rameter를 신중하게 튜닝해야 하므로 APA는 보다 쉽게 校정이 가능하다.
• 오프라인 환경에서는 APA가 분포 이탈로 인해 성능 저하를 겪는 반면, AWR는 더 유연하게 유지되어, APA의 오프라인 RL 시나리오에서의 핵심 한계를 드러낸다.
• GPT-4가 인간 선호도를 애너테이션한 결과를 사용한 실증적 결과는 APA로 미세조정된 모델이 PPO로 미세조정된 모델보다 더 선호되는 응답을 생성함을 확인한다.