[논문 리뷰] Aligning Language Models with Preferences through f-divergence Minimization

Dongyoung Go, Tomasz Korbak외 4명|arXiv (Cornell University)|2023. 02. 16.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 전방 KL, 역방 KL, TV, 그리고 젠슨-쇼너클리브(Johnson-Shannon) 분산을 포함한 임의의 f-분산을 최소화하여 선호 기반 목표 분포와의 일치를 위해 언어 모델을 훈련시키는 통합 프레임워크 f-DPG를 소개한다. 주요 기여는 JS 분산이 일관되게 전방 KL보다 일치 품질과 다양성 측면에서 뛰어나며, 전방 KL로 평가할 때조차도 동일한 결과를 보이며, 분산 선택이 다양한 모델 크기에서 모델 행동에 상당한 영향을 미친다는 것을 입증하는 것이다.

ABSTRACT

Aligning language models with preferences can be posed as approximating a target distribution representing some desired behavior. Existing approaches differ both in the functional form of the target distribution and the algorithm used to approximate it. For instance, Reinforcement Learning from Human Feedback (RLHF) corresponds to minimizing a reverse KL from an implicit target distribution arising from a KL penalty in the objective. On the other hand, Generative Distributional Control (GDC) has an explicit target distribution and minimizes a forward KL from it using the Distributional Policy Gradient (DPG) algorithm. In this paper, we propose a new approach, f-DPG, which allows the use of any f-divergence to approximate any target distribution that can be evaluated. f-DPG unifies both frameworks (RLHF, GDC) and the approximation methods (DPG, RL with KL penalties). We show the practical benefits of various choices of divergence objectives and demonstrate that there is no universally optimal objective but that different divergences present different alignment and diversity trade-offs. We show that Jensen-Shannon divergence strikes a good balance between these objectives, and frequently outperforms forward KL divergence by a wide margin, leading to significant improvements over prior work. These distinguishing characteristics between divergences persist as the model size increases, highlighting the importance of selecting appropriate divergence objectives.

연구 동기 및 목표

• 모든 f-분산을 지원하는 단일 프레임워크를 통해 기존 언어 모델 일치 방법(예: RLHF 및 GDC)을 통합하는 것.
• 선호 기반 언어 모델 훈련에서 다양한 f-분산이 일치 품질, 다양성 및 훈련 동역학에 미치는 영향을 조사하는 것.
• 분산 목표의 선택이 중립적이지 않으며, 일치성과 다양성 사이의 고유한 트레이드오프를 유도한다는 것을 입증하는 것.
• 실제로 JS 분산이 일반적으로 전방 KL보다 유리한 균형을 제공하며, 더 뛰어난 성능을 보인다는 것을 보여주는 것.
• 모델 크기가 증가함에 따라 분산 선택의 영향이 지속됨을 검증하여, 목표 선택의 중요성을 부각하는 것.

제안 방법

• 목표 에너지 기반 모델(EBM)과 언어 모델 정책 사이의 임의의 f-분산을 최소화할 수 있도록 일반화된 분포 정책 기반 알고리즘(DPG)의 확장인 f-DPG를 제안한다.
• 목표 분포를 비정규화된 EBM로 정의하여 사실 일관성, 편향 감소, 어휘 제약 등 원하는 행동를 명시적으로 모델링할 수 있도록 한다.
• 네 가지 변종을 구현: KL-DPG(전방 KL), RKL-DPG(역방 KL), TV-DPG(총변동), JS-DPG(젠슨-쇼너클리브), 각각 다른 f-분산을 최소화한다.
• 재편성 및 중요도 샘플링을 통해 EBM 형태를 처리하기 위해 확률적 경사 하강법을 사용하여 정책을 최적화한다.
• 목표 분포 정의를 근사 알고리즘에서 분리하여, 목표와 최적화 방법 간의 민첩한 조합을 가능하게 한다.
• 모든 방법을 다수의 f-분산을 메트릭으로 사용하여 평가함으로써, 다양한 목표 간의 일치 품질을 교차 비교할 수 있도록 한다.

Figure 1: On many target distributions, the Jensen-Shannon (JS) divergence (green) outperforms the Kullback-Leibler (KL) divergence (blue) as an objective, even when performance is measured in terms of KL from the target $p$ (left panel, $\downarrow$ better). See Sec. 4.2 .

실험 결과

연구 질문

• RQ1 f-분산 목표의 선택이 언어 모델 훈련에서 일치 성능과 다양성에 상당한 영향을 미치는가?
• RQ2 JS 분산이 인간 선호와의 언어 모델 일치에서 전방 KL의 우수한 대안이 될 수 있는가?
• RQ3 다양한 모델 크기에서 수렴성, 안정성, 일반화 측면에서 다른 분산 목표는 어떻게 비교되는가?
• RQ4 모델 규모가 증가함에 따라 일치성과 다양성 사이의 트레이드오프가 얼마나 지속되는가?
• RQ5 f-DPG는 RLHF 및 GDC와 같은 기존 프레임워크를 단일 유연한 최적화 체계 아래 통합할 수 있는가?

주요 결과

• 젠슨-쇼너클리브 분산은 전방 KL로 측정할 때조차도 일관되게 일치 품질에서 전방 KL보다 뛰어나며, 더 유리한 인덕티브 바이어스를 제공함을 시사한다.
• JS 분산을 사용할 경우 전방 KL 대비 성능 향상은 사실 일관성, 편향 완화, 어휘 제어와 같은 다수의 일치 작업에서 뚜렷하고 지속적인 것으로 나타났다.
• 다른 f-분산은 각기 다른 모델 행동을 유도하며, 유일한 목표가 항상 최적은 아니며, 일치성과 다양성 사이의 트레이드오프는 분산 선택에 따라 본질적으로 존재한다.
• JS 분산의 이점은 소형 모델에 국한되지 않으며, 모델 크기가 증가함에 따라 성능 격차가 지속됨을 확인하여 그 강건성을 입증했다.
• f-DPG는 DPG와 KL 페널티를 포함한 RL을 모두 일반화하여, 다양한 분산 선택이 가능한 단일 프레임워크로 기존 접근법을 통합했다.
• 총변동과 역방 KL 분산은 전방 KL 대비 제한적인 성능 향상을 보였고, 실질적으로 JS 분산이 가장 효과적인 대안으로 떠올랐다.

Figure 2: Comparison of $f$ -DPG on sentiment preference. Evaluation metrics: four $f$ -divergences $D_{f}(\pi_{\theta}||p)$ (↓ better), alignment score $\mathbb{E}_{\pi_{\theta}}[\phi(x)]$ (↑ better), entropy (↑ better), standard deviation of pseudo-reward $\mathrm{std}(r_{\theta}(x))$ .