[論文レビュー] Aligning Language Models with Preferences through f-divergence Minimization

Dongyoung Go, Tomasz Korbak+4 more|arXiv (Cornell University)|Feb 16, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、任意のf-発散を最小化することで、好みに基づくターゲット分布に言語モデルを微調整する統一フレームワークf-DPGを提案する。これには、前方KL、逆KL、TV、およびジェンセン・シャノン(JS)発散を含む。主な貢献は、JS発散が、前方KLで評価された場合でも、一貫して整合性と多様性の両面で前方KLを上回ることを示し、発散の選択がモデルサイズにかかわらずモデルの挙動に顕著な影響を与えることである。

ABSTRACT

Aligning language models with preferences can be posed as approximating a target distribution representing some desired behavior. Existing approaches differ both in the functional form of the target distribution and the algorithm used to approximate it. For instance, Reinforcement Learning from Human Feedback (RLHF) corresponds to minimizing a reverse KL from an implicit target distribution arising from a KL penalty in the objective. On the other hand, Generative Distributional Control (GDC) has an explicit target distribution and minimizes a forward KL from it using the Distributional Policy Gradient (DPG) algorithm. In this paper, we propose a new approach, f-DPG, which allows the use of any f-divergence to approximate any target distribution that can be evaluated. f-DPG unifies both frameworks (RLHF, GDC) and the approximation methods (DPG, RL with KL penalties). We show the practical benefits of various choices of divergence objectives and demonstrate that there is no universally optimal objective but that different divergences present different alignment and diversity trade-offs. We show that Jensen-Shannon divergence strikes a good balance between these objectives, and frequently outperforms forward KL divergence by a wide margin, leading to significant improvements over prior work. These distinguishing characteristics between divergences persist as the model size increases, highlighting the importance of selecting appropriate divergence objectives.

研究の動機と目的

• 任意のf-発散をサポートする単一のフレームワークとして、RLHF や GDC などの既存の言語モデルの整合性手法を統合すること。
• 好みに基づく言語モデル微調整における、異なるf-発散が整合性の質、多様性、学習ダイナミクスに与える影響を調査すること。
• 発散の選択が中立的ではなく、整合性と多様性の間の明確なトレードオフをもたらすことを示すこと。
• JS発散が実際の応用において、前方KLを上回る良好なバランスを提供することを示すこと。
• モデルサイズが増大するに伴っても、発散の選択が影響を及えることが確認されることから、目的関数選択の重要性を強調すること。

提案手法

• 任意のf-発散を最小化できるように一般化された分布方策勾配（DPG）アルゴリズムの拡張であるf-DPGを提案。これは、ターゲットエネルギーベースモデル（EBM）と言語モデル方策との間のf-発散を最小化することを目的とする。
• ターゲット分布を正規化されていないEBMとして定義し、事実の整合性、バイアス低減、語彙的制約などの望ましい行動を明示的にモデル化可能にする。
• 4つのバリエーションを実装：KL-DPG（前方KL）、RKL-DPG（逆KL）、TV-DPG（全変動）、JS-DPG（ジェンセン・シャノン）、それぞれ異なるf-発散を最小化する。
• 再パラメータ化と重要度サンプリングを用いてEBM形式に対応する勾配を計算し、確率的勾配降下法で方策を最適化する。
• ターゲット分布の定義と近似アルゴリズムを分離することで、目的関数と最適化手法の柔軟な組み合わせを可能にする。
• すべての手法を複数のf-発散を指標として用いて評価し、異なる目的関数間での整合性の質の相互比較を可能にする。

Figure 1: On many target distributions, the Jensen-Shannon (JS) divergence (green) outperforms the Kullback-Leibler (KL) divergence (blue) as an objective, even when performance is measured in terms of KL from the target $p$ (left panel, $\downarrow$ better). See Sec. 4.2 .

実験結果

リサーチクエスチョン

• RQ1 f-発散の目的関数の選択が、言語モデル微調整における整合性のパフォーマンスと多様性に顕著な影響を与えるか？
• RQ2 JS発散は、人間の好みに言語モデルを整合させる点で、前方KLの優れた代替手段となり得るか？
• RQ3 異なる発散目的関数は、モデルサイズにわたって収束性、安定性、一般化性能の観点でどのように比較されるか？
• RQ4 モデルスケールが増大するに伴って、整合性と多様性のトレードオフがどの程度持続するか？
• RQ5 f-DPGは、RLHF や GDC といった既存のフレームワークを、単一の柔軟な最適化スキームで統合できるか？

主な発見

• ジェンセン・シャノン発散は、前方KLで測定された場合でも、一貫して整合性の質において前方KLを上回る。これは、より好ましいインダクティブバイアスを示している。
• JS発散を用いることで得られる改善は、事実の整合性、バイアス低減、語彙的制御といった複数の整合性タスクにわたり顕著かつ持続的である。
• 異なるf-発散は、一様に最適な目的関数が存在しないという点で、モデル挙動に顕著な違いをもたらす。整合性と多様性のトレードオフは、発散の選択に起因する本質的なものである。
• JS発散の利点は小規模モデルに限らない。モデルサイズが増大しても性能差が維持されるため、その頑健性が裏付けられている。
• f-DPGは、DPGとKLペナルティ付きRLの両方を適切に一般化し、柔軟な発散選択を可能にする単一のフレームワークとして、既存のアプローチを統合している。
• 全変動と逆KL発散は、前方KLに比べて限定的な向上を示すが、実用的にはJS発散が最も効果的な代替手段として浮き彫りになっている。

Figure 2: Comparison of $f$ -DPG on sentiment preference. Evaluation metrics: four $f$ -divergences $D_{f}(\pi_{\theta}||p)$ (↓ better), alignment score $\mathbb{E}_{\pi_{\theta}}[\phi(x)]$ (↑ better), entropy (↑ better), standard deviation of pseudo-reward $\mathrm{std}(r_{\theta}(x))$ .