[論文レビュー] Beyond Reverse KL: Generalizing Direct Preference Optimization with Diverse Divergence Constraints

Chaoqi Wang, Yibo Jiang+3 more|arXiv (Cornell University)|Sep 28, 2023

Data Management and AlgorithmsComputer Science被引用数 3

ひとこと要約

この論文は、逆KLダイバージェンスにとどまらない、Jensen-Shannon、前方KL、およびαダイバージェンスを含む多様なfダイバージェンスを組み込むことで、直接的好み最適化（DPO）を一般化したf-DPOを導入する。KKT条件（特に補完的スラックネス）を厳密に解くことで、Bradley-Terryモデルにおける正規化定数の推定を不要にし、報酬関数と最適方策との間の扱いやすい解析的マッピングを可能にする。PPOに基づく手法と比較して、より優れたアライメント効率とキャリブレーション誤差の制御を達成する一方で、アライメント性能と生成多様性のバランスを保つ。

ABSTRACT

The increasing capabilities of large language models (LLMs) raise opportunities for artificial general intelligence but concurrently amplify safety concerns, such as potential misuse of AI systems, necessitating effective AI alignment. Reinforcement Learning from Human Feedback (RLHF) has emerged as a promising pathway towards AI alignment but brings forth challenges due to its complexity and dependence on a separate reward model. Direct Preference Optimization (DPO) has been proposed as an alternative, and it remains equivalent to RLHF under the reverse KL regularization constraint. This paper presents $f$-DPO, a generalized approach to DPO by incorporating diverse divergence constraints. We show that under certain $f$-divergences, including Jensen-Shannon divergence, forward KL divergences and $α$-divergences, the complex relationship between the reward and optimal policy can also be simplified by addressing the Karush-Kuhn-Tucker conditions. This eliminates the need for estimating the normalizing constant in the Bradley-Terry model and enables a tractable mapping between the reward function and the optimal policy. Our approach optimizes LLMs to align with human preferences in a more efficient and supervised manner under a broad set of divergence constraints. Empirically, adopting these divergences ensures a balance between alignment performance and generation diversity. Importantly, $f$-DPO outperforms PPO-based methods in divergence efficiency, and divergence constraints directly influence expected calibration error (ECE).

研究の動機と目的

• 既存のDPOおよびRLHF手法が逆KLダイバージェンスにのみ依存するという限界に対処すること。これは生成多様性を低下させ、モデルの表現力も制限する。
• 逆KLにとどまらない、前方KL、Jensen-Shannon、およびαダイバージェンスを含む広範なfダイバージェンスクラスを統合することで、DPOを逆KLを超えて一般化し、さまざまな制約下でのより豊かな方策最適化を可能にすること。
• 特定のダイバージェンス族において、KKT条件（特に補完的スラックネス）を解析的に解くことで、Bradley-Terryモデルにおける正規化定数の推定を不要にする。
• 報酬モデルや強化学習を必要とせず、より効率的で安定した、監督付き微調整による大規模言語モデル（LLM）のヒューマン好みアライメントを実現すること。
• 多様なダイバージェンス制約がアライメント性能と生成多様性のバランスに与える影響を実証的に検証し、期待キャリブレーション誤差（ECE）に直接的な影響を与えること。

提案手法

• 本手法は、Jensen-Shannon、前方KL、およびα ∈ (0,1) のαダイバージェンスを含むfダイバージェンスの族に基づく制約下で、好み最適化問題を定式化することでDPOを一般化する。
• 制約付き最適化問題のKKT条件に対する解析的解を導出し、特に補完的スラックネスを活用して、Bradley-Terryモデルにおける扱いにくい正規化定数の必要性を排除する。
• これらのダイバージェンス下で、報酬関数と最適方策との間の閉形式マッピングを確立し、反復的RLや報酬モデルの訓練を必要とせずに直接最適化を可能にする。
• ダイバージェンス制約が明示的に方策更新を形作るため、好みデータを用いたLLMのエンドツーエンド監督付き微調整をサポートし、アライメントと多様性のバランスをとる。
• 複数のダイバージェンスタイプをハイパーパrameterとして使用可能にし、安全性、多様性、パフォーマンスの間の特定のトレードオフに合わせて調整できるようにする。
• 理論的根拠は凸最適化およびfダイバージェンス理論に基づき、LLMアライメントの文脈において、取り扱いやすさと解釈可能性に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 DPOフレームワークは、前方KL、Jensen-Shannon、αダイバージェンスといった他のfダイバージェンスに一般化可能か？
• RQ2 KKT条件の分析により、これらの一般化されたダイバージェンス下でも、Bradley-Terryモデルにおける正規化定数の推定が不要になるのか？
• RQ3 得られるf-DPOフレームワークは、PPOベースのRLHF手法と比較して、より優れたアライメント効率と多様性のバランスを達成できるか？
• RQ4 異なるダイバージェンス制約は、微調整されたLLMの期待キャリブレーション誤差（ECE）にどのように影響するか？
• RQ5 一般化されたf-DPOアプローチは、強力なアライメントパフォーマンスを維持しながら、より柔軟で解釈可能な方策最適化を可能にするか？

主な発見

• f-DPOは、KKT条件を解析的に解き、正規化定数の推定を不要にすることで、Jensen-Shannon、前方KL、およびα ∈ (0,1) のαダイバージェンスを含む複数のfダイバージェンスにDPOを成功裏に一般化した。
• 報酬関数と最適方策との間の直接的で解析的なマッピングを達成し、報酬モデルや強化学習を必要としない、効率的な監督付き微調整を可能にした。
• 実証的に、f-DPOはPPOベースの手法を上回るダイバージェンス効率を示し、同じ好みデータ下でもより速い収束と優れたアライメントパフォーマンスを達成した。
• 異なるダイバージェンス制約は期待キャリブレーション誤差（ECE）に直接的な影響を与え、f-DPOはダイバージェンスの選択によってモデルキャリブレーションを明示的に制御可能にした。
• 多様なダイバージェンスの使用により、アライメントパフォーマンスと生成多様性のバランスが向上し、逆KLのモード探索行動を緩和し、モデルの表現力を向上させた。
• フレームワークにより、選択されたダイバージェンスに応じて、マスカバレージやモード探索といった広範なモデリング行動のスケールをカバーでき、アプリケーション固有のアライメントに高い柔軟性を提供した。