[論文レビュー] Understanding the performance gap between online and offline alignment algorithms

Yunhao Tang, Daniel Guo+9 more|arXiv (Cornell University)|May 14, 2024

Genomics and Phylogenetic StudiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

この論文は、計算コストが低いにもかかわらず、オンライン強化学習による人間のフィードバック（RLHF）が大規模言語モデルの対齊化においてオフライン手法を上回る理由を調査している。制御されたアブレーション実験を通じて、オンライン手法の優れた生成性能の背後にある鍵要因として、オンポリシーのデータ生成が特定された。これは、オフラインアルゴリズムが解消できない、識別的性能と生成的性能の間の根本的トレードオフを明らかにしている。

ABSTRACT

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.

研究の動機と目的

• 大規模言語モデルの対齊化におけるオンラインとオフラインの対齊アルゴリズムの性能格差の根本的要因を調査すること。
• データカバレッジ、データ品質、最適化ダイナミクス、損失関数、モデルスケーリングのいずれが観察された性能格差を説明するかを評価すること。
• データ生成の改善やアーキテクチャスケーリングによって、オフラインアルゴリズムがオンライン手法と同等の性能を達成できるかを特定すること。
• ポリシー最適化における識別的（ペairワイズ分類）と生成的（テキスト生成）能力の相互作用を理解すること。

提案手法

• オンラインとオフラインアルゴリズムを公平に比較するため、RLHFポリシーと監視微調整（SFT）ポリシー間のKLダイバージェンスを統一された予算指標として用いた。
• データ分布、品質、最適化プロセス、損失関数に関する仮説を検証するための制御されたアブレーション実験を実施した。
• 同一のKL予算制約下で、オープンソースデータセット上でオンラインアルゴリズム（例：PPO）とオフラインアルゴリズム（例：DPO）を比較した。
• 性能格差に与える影響を評価するために、対照的損失関数と非対照的損失関数の両方を評価した。
• 初期ポリシーに近い分布を持つ合成オフラインデータセットを生成し、オンポリシーのデータ収集を模擬した。
• 識別的（ペアワイズ分類精度）と生成的（生成品質）の両方の指標を用いて性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 同じKL予算下で、なぜオンライン対齊アルゴリズムが一貫してオフラインアルゴリズムを上回るのか？
• RQ2 データカバレッジとデータ品質は、オンラインとオフライン手法の間の性能格差をどの程度説明できるのか？
• RQ3 オフラインポリシー最適化において、識別的性能と生成的性能の間に根本的なトレードオフが存在するのか？
• RQ4 性能格差は、対照的損失関数と非対照的損失関数の両方で継続的に見られるのか？
• RQ5 オンポリシー分布を模倣するデータを生成することで、オフラインアルゴリズムの性能を向上させられるのか？

主な発見

• オンラインアルゴリズムは、すべてのKL予算レベルで一貫してオフラインアルゴリズムを上回り、生成および分類の両タスクでより高いピーク性能を達成した。
• オフラインデータのカバレッジと品質そのものでは、性能格差を説明できないことが判明した。高品質で高カバレッジのデータセットでも、格差は解消されなかった。
• オフラインポリシーはペアワイズ分類において優れているが、テキスト生成においては著しく劣っており、識別的性能と生成的性能の間の強い断絶が示された。
• オンポリシーのサンプリングにより、オンラインポリシーは生成品質に優れたが、これは静的なオフラインデータには存在しない、分布の継続的シフトによるものである。
• 性能格差は、対照的損失関数と非対照的損失関数の両方で継続的に観察された。これは、特定の最適化目的に起因するものではなく、根本的な要因であることを示している。
• ポリシーネットワークのスケーリングは性能格差を解消できず、アーキテクチャの容量だけではオフライン学習の制限を克服できないことが示唆された。