[論文レビュー] Post-Training with Policy Gradients: Optimality and the Base Model Barrier

Alireza Mousavi-Hosseini, Murat A. Erdogdu|arXiv (Cornell University)|Mar 7, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

論文は結果と過程報酬を用いて訓練後の自己回帰モデルを分析し、ベースモデルの障壁の下でポリシー勾配法のミニマックス最適レートを確立し、それを克服するための過程報酬スキームを提案する。

ABSTRACT

We study post-training linear autoregressive models with outcome and process rewards. Given a context $\boldsymbol{x}$, the model must predict the response $\boldsymbol{y} \in Y^N$, a sequence of length $N$ that satisfies a $γ$ margin condition, an extension of the standard separability to sequences. We prove that on test samples where the base model achieves a non-trivial likelihood $α$, a variant of policy gradient (PG) can achieve likelihood $1 - \varepsilon$ with an essentially minimax optimal number of reward queries $ ilde{O}((α^{-1} + \varepsilon^{-1})/γ^2)$. However, a barrier arises for going beyond the support of the base model. We prove that the overall expected error after post-training with outcome rewards is governed by a property of the base model called the Likelihood Quantile (LQ), and that variants of PG, while minimax optimal, may require a number of reward queries exponential in $N$ to go beyond this support, regardless of the pre-training algorithm. To overcome this barrier, we study post-training with a process reward model, and demonstrate how PG variants in this setting avoid the curse of dimensionality in $N$ via dependence on a token-level LQ. Along the way, we prove that under the margin condition, SGD with adaptive learning rate (LR) achieves a near optimal test error for statistical learning, and PG with adaptive LR achieves a near optimal number of mistakes for online learning while being computationally efficient whenever possible, both of which may be of independent interest.

研究の動機と目的

• マージン仮定の下で自己回帰モデルの訓練後分析を動機づけ、分析する。
• ベースモデルの品質がサンプル数と報酬クエリの複雑さに与える影響を特徴付ける。
• 結果報酬と過程報酬の設定を区別し、それらが学習効率に与える影響を明らかにする。
• 最適性と障壁を確立し、SGDおよびPG法の適応学習率戦略を提案する。

提案手法

• 生成器を線形自己回帰形とマージンγでモデル化する。
• 結果報酬（PG-OR）を用いた訓練後を研究し、条件付き収束境界を導出する。
• ベースモデル障壁を捉えるための尤度分位数（LQ）を導入し、無条件誤差への影響を分析する。
• 過程報酬（PG-PR）を導入し、次元削減のためにトークンレベルの尤度分位数（TL-LQ）を定義する。
• PG変種のミニマックス最適性を証明し、SGDおよびPGの適応学習率スキームを分析する。
• 最適探索のベスト・オブ・k探索戦略（アルゴリズム1）を含むアルゴリズム的手順と適応更新を提供する。

実験結果

リサーチクエスチョン

• RQ1 Q1 基底モデルの品質とオンサポートおよびオフサポートのサンプルに対して、報酬クエリと政策勾配の反復はどのようにスケールするのか？
• RQ2 Q2 結果報酬モデルと過程報酬モデルの下で、ベースモデルよりもはるかに低いテスト誤差を達成しつつ計算効率を保つことは可能か？
• RQ3 Q3 ベースモデルのサポートを超える際にどのような障壁が生じるのか、過程報酬はそれらを克服できるか？
• RQ4 Q4 この設定でSGDとポリシー勾配に対して適応学習率戦略はほぼ最適な性能をもたらすか？
• RQ5 Q5 訓練後におけるトークンレベルの報酬は、シーケンスレベルの報酬に対してサンプル効率をどのように影響するか？

主な発見

• ポリシー勾配の一変種は、ベースモデルの尤度が非自明な場合にテストサンプルで尤度を1−εまで高められることがあり、報酬クエリは概ね Õ((α^{-1}+ε^{-1})/γ^{2}) 程度となる。
• 基底モデル障壁が存在する：ベースモデルのSGD推定誤差を超える改善を報酬クエリだけで行うには、尤度分位数（LQ）の影響でNに対して指数的に増える可能性がある。
• 結果報酬の代わりに過程報酬を用いると障壁を緩和でき、サンプル複雑性はTL-LQに依存し、Nに対して線形となる。
• PG変種は前提の下でミニマックス最適性を持ち、適応LRを用いたSGDは統計的学習のテスト誤差でほぼ最適、適応LRを用いたPGはオンライン学習の誤りでほぼ最適。
• 構造化されたbest-of-m探索戦略（アルゴリズム1）はクエリ効率を改善するが、過程報酬がないと基底モデル障壁を完全には回避できない。
• 過程報酬を用いる場合、PG-PRはTL-LQがkとNにスケールする要件の下で有利な界を達成する。