[논문 리뷰] Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data

Fahim Tajwar, Anikait Singh외 7명|arXiv (Cornell University)|2024. 04. 22.

Efficiency Analysis Using DEADecision Sciences인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 선호도 피드백 튜닝이 하위 최적의, 온정책(On-policy) 응답과 부정적 기울기 목표함수를 사용할 경우 크게 향상됨을 보여준다. 이는 높은 보상 응답으로의 확률 질량 재분배를 더 빠르고 효과적으로 가능하게 한다. 저자들은 '모드 탐색'(mode-seeking) 목표함수 개념을 도입하였으며, 이는 반대 KL 발산을 기반으로 통합된 것으로서, 기준 정책의 낮은 확률 영역에 위치한 높은 보상 응답이 존재할 경우, 기존의 최대우도 추정 및 오프라인 지도 학습 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Learning from preference labels plays a crucial role in fine-tuning large language models. There are several distinct approaches for preference fine-tuning, including supervised learning, on-policy reinforcement learning (RL), and contrastive learning. Different methods come with different implementation tradeoffs and performance differences, and existing empirical findings present different conclusions, for instance, some results show that online RL is quite important to attain good fine-tuning results, while others find (offline) contrastive or even purely supervised methods sufficient. This raises a natural question: what kind of approaches are important for fine-tuning with preference data and why? In this paper, we answer this question by performing a rigorous analysis of a number of fine-tuning techniques on didactic and full-scale LLM problems. Our main finding is that, in general, approaches that use on-policy sampling or attempt to push down the likelihood on certain responses (i.e., employ a "negative gradient") outperform offline and maximum likelihood objectives. We conceptualize our insights and unify methods that use on-policy sampling or negative gradient under a notion of mode-seeking objectives for categorical distributions. Mode-seeking objectives are able to alter probability mass on specific bins of a categorical distribution at a fast rate compared to maximum likelihood, allowing them to relocate masses across bins more effectively. Our analysis prescribes actionable insights for preference fine-tuning of LLMs and informs how data should be collected for maximal improvement.

연구 동기 및 목표

• 선호도 피드백 튜닝에 있어 온정책 강화학습(Reinforcement Learning, RL)과 오프라인 방법 중 어떤 것이 필요한지에 대한 LLM 커뮤니티 내 혼란을 해결하기 위해.
• 온정책 데이터 수집과 부정적 기울기 목표함수의 성능 향상에 기여하는 역할을 조사하기 위해.
• 온정책 RL과 대비 학습 등 다양한 방법들을 공통 이론적 프레임워크로 통합하기 위해.
• 언제이고 왜 온정책 샘플링과 부정적 기울기 목표함수가 선호도 정렬에 특히 효과적인지 규명하기 위해.
• LLM 선호도 피드백 튜닝에서 데이터 수집 및 최적화에 실질적인 통찰을 제공하기 위해.

제안 방법

• 저자들은 AlpacaFarm 및 UltraFeedback 데이터셋을 사용하여 지침 기반 밴딧 문제, 합성 LLM 문제, 그리고 전면적 LLM 실험을 설계하였다.
• 제어된 커버리지 및 기하 조건 하에서 지도 학습, 대비 학습, 온정책 강화학습 등의 방법을 비교하였다.
• 부정적 기울기 목표함수가 확률 질량 재분배에 더 효과적인 이유를 설명하기 위해 반대 KL 발산 기반 이론적 프레임워크를 제안하였다.
• 반대 KL 발산을 기반으로 '모드 탐색' 행동을 수학적으로 정의하였으며, 이는 고보상 응답 박스에 확률 질량을 신속히 집중시키는 능력을 의미한다. 이는 '모드 커버리지' 최대우도 목표함수와 대비된다.
• 전방 및 반대 KL 발산의 행동을 분석하여, 반대 KL이 현재 확률이 높은 영역을 우선순위로 삼아 더 빠른 재가중을 가능하게 함을 보였다.
• 실험적으로 온정책 샘플링과 부정적 기울기 목표함수가 상호보완적이며, 특히 기준 정책 하에서 고보상 응답이 희소할 경우에 매우 중요하다는 것을 검증하였다.

실험 결과

연구 질문

• RQ1 언제 온정책 샘플링이 효과적인 선호도 피드백 튜닝을 위해 필수적이며, 언제 오프라인 방법으로도 충분한가?
• RQ2 왜 부정적 기울기 목표함수(예: 대비 학습 또는 RL 목표함수)가 최대우도 기반 표준 지도 학습보다 성능이 뛰어나나?
• RQ3 기준 정책과 진짜 보상 피크 간의 기하학적 관계가 방법 성능에 어떻게 영향을 미치나?
• RQ4 온정책 RL과 대비 학습의 성공을 설명할 수 있는 통합 원리가 존재하는가?
• RQ5 기준 정책 하에서 고보상 응답의 초기 확률이 다양한 튜닝 전략의 효과성에 어떤 역할을 하는가?

주요 결과

• 고보상 응답이 기준 정책의 낮은 확률 영역에 위치할 경우, 온정책 샘플링이 이 영역을 직접 탐색할 수 있어 성능 향상에 기여한다.
• 대비 학습이나 온정책 RL에서 사용하는 부정적 기울기 목표함수는 최대우도 및 오프라인 지도 학습 방법보다 고보상 응답으로의 확률 질량 재분배를 더 빠르게 가능하게 하여 성능이 뛰어나다.
• 온정책 샘플링과 부정적 기울기의 조합은 상호보완적 이점을 제공하며, 특히 선호도 데이터가 기준 정책에서 벗어나 편향되어 있을 경우에 특히 중요하다.
• 반대 KL 발산을 통해 모드 탐색 행동을 유도하는 방법은 '모드 커버리지' 목표함수보다 고보상 응답 부분집합에 확률 질량을 훨씬 더 신속히 집중시킬 수 있다.
• 지도 학습 튜닝 방법인 Pref-FT와 Binary Feed-ME는 전체 데이터 커버리지가 이루어져 있음에도 불구하고, 저보상에서 고보상 응답으로의 질량 이동을 효과적으로 수행하지 못한다.
• 이론적 분석을 통해 반대 KL이 현재 확률이 높은 영역을 우선순위로 삼아 단일 스텝 내에서 더 효율적인 확률 질량 재가중이 가능하다는 점을 밝혔다.