[論文レビュー] Rewarded soups: towards Pareto-optimal alignment by interpolating weights fine-tuned on diverse rewards

Alexandre Ramé, Guillaume Couairon+5 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、多様なプロキシ報酬で微調整された1つの基礎モデルを線形に重みを補間することで、モデルの整合性を向上させるマルチポリシー戦略「Rewarded Soup (RS)」を提案する。この手法は、自然言語処理、視覚、制御タスクにおいて、計算コストを大幅に抑えながらも、多目的強化学習（MORL）と同等またはそれを上回るパラメータを達成し、パレート最適な性能を実現する。

ABSTRACT

Foundation models are first pre-trained on vast unsupervised datasets and then fine-tuned on labeled data. Reinforcement learning, notably from human feedback (RLHF), can further align the network with the intended usage. Yet the imperfections in the proxy reward may hinder the training and lead to suboptimal results; the diversity of objectives in real-world tasks and human opinions exacerbate the issue. This paper proposes embracing the heterogeneity of diverse rewards by following a multi-policy strategy. Rather than focusing on a single a priori reward, we aim for Pareto-optimal generalization across the entire space of preferences. To this end, we propose rewarded soup, first specializing multiple networks independently (one for each proxy reward) and then interpolating their weights linearly. This succeeds empirically because we show that the weights remain linearly connected when fine-tuned on diverse rewards from a shared pre-trained initialization. We demonstrate the effectiveness of our approach for text-to-text (summarization, Q&A, helpful assistant, review), text-image (image captioning, text-to-image generation, visual grounding, VQA), and control (locomotion) tasks. We hope to enhance the alignment of deep models, and how they interact with the world in all its diversity.

研究の動機と目的

• 多様で対立する人間の好みやプロキシ報酬と整合する基礎モデルの課題に対処すること。
• 合意を重視する単一ポリシーの整合戦略の限界を克服し、多様な視点を無視するリスクを回避すること。
• 各報酬重み付けに対して複数のモデルを訓練する必要がない、スケーラブルで効率的な多目的強化学習（MORL）の代替策を開発すること。
• 独立して微調整されたモデルからの重みの線形補間が、多様な目的において性能を維持することを実証すること。
• 補間係数を用いたランタイムでのモデル動作選択を可能にし、ユーザーの好みに応じた柔軟性を高めること。

提案手法

• N 個の異なるプロキシ報酬で共有された事前学習済みの基礎モデルを独立して微調整し、N 個の異なるポリシー・ヘッドを生成する。
• 重み空間内で最終的に訓練された重みを線形に補間する：θ_λ = λ·θ₁ + (1−λ)·θ₂、ここで λ ∈ [0,1] は推論時に選択される。
• 同じ事前学習チェックポイントから初期化された場合、多様な報酬に対して微調整された重みが線形に接続されているという経験的観察を活用する。
• 人間の好みモデルや自動指標（例：BLEU、METEOR）を含む、REINFORCEに基づく強化学習を用いて報酬で微調整する。
• 微調整時に事前学習時と同じ正規化および観測統計を適用し、安定した重み補間を保証する。
• 競合する報酬間のトレードオフをバランスさせる最適な補間係数 λ を推論時に選択し、パレート最適な行動を達成する。

実験結果

リサーチクエスチョン

• RQ1 多様なプロキシ報酬で微調整されたモデルからの重みを線形補間することで、複数の目的においてパレート最適な性能を達成できるか？
• RQ2 計算コストと精度の観点から、Rewarded Soup の性能は多目的強化学習（MORL）と比べてどうか？
• RQ3 要約、VQA、画像キャプション、ロケーション制御などの多様なタスクにおいて、微調整された重みの線形接続性は成立するか？
• RQ4 補間により、推論時にモデル動作を動的に適応可能にできるか？これにより、実行時における好みの選択が可能になるか？
• RQ5 この手法は、標準的な教師あり微調整や単一ポリシーのRLHFに比べ、対立する人間の好みをより効果的に処理できるか？

主な発見

• 要約タスクにおいて、Rewarded Soup は多目的強化学習（MORL）と同等の性能を達成し、訓練コストの僅か数分の1でパレートフロントに一致する。
• 要約やQ&Aなどのテキスト対テキストタスクでは、2つの報酬モデル（例：簡潔さと文の自然さ）を用いたRSが滑らかなトレードオフ曲線を示し、最適なλ選択により、複数の指標で優れた性能を達成する。
• VQA や画像キャプションなどの視覚タスクでは、BLEU と METEOR 報酬を用いたRSが、個々の微調整済みモデルやクロスエントロピーのベースラインを上回り、一般化性能が向上していることを示している。
• 連続的制御（ロケーション制御）では、「危険志向」（速度のみ）と「慎重志向」（速度から行動コストを差し引いたもの）の報酬を用いたRSが、個々のポリシーに比べ滑らかでより頑健な運動を実現している。
• この手法はモダリティを越えて一般化可能である：テキストのみ、テキスト＋画像、制御タスクのすべてで有効であり、特定のドメインに限定されない広範な適用性を示している。
• 独立して微調整されたモデルからの重みの線形補間が、多様な目的において性能を維持することを実証し、重み空間における線形接続性の核心仮定が妥当であることを裏付けた。