[論文レビュー] Delightful Distributed Policy Gradient

Ian Osband|arXiv (Cornell University)|Mar 20, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

Delightful Policy Gradient (DG) は delight（利得×驚異度）で更新をゲートすることで、分散RLにおける古い・ buggy・ 不一致の actors に対応し、行動確率の必要なく整合性と性能を改善する。

ABSTRACT

Distributed reinforcement learning trains on data from stale, buggy, or mismatched actors, producing actions with high surprisal (negative log-probability) under the learner's policy. The core difficulty is not surprising data per se, but \emph{negative learning from surprising data}. High-surprisal failures can dominate the update direction despite carrying little useful signal, while high-surprisal successes reveal opportunities the current policy would otherwise miss. The \textit{Delightful Policy Gradient} (DG) separates these cases by gating each update with delight, the product of advantage and surprisal, suppressing rare failures and amplifying rare successes without behavior probabilities. Under contaminated sampling, the cosine similarity between the standard policy gradient and the true gradient collapses, while DG's grows as the policy improves. No sign-blind reweighting, including exact importance sampling, can reproduce this effect. On MNIST with simulated staleness, DG without off-policy correction outperforms importance-weighted PG with exact behavior probabilities. On a transformer sequence task with staleness, actor bugs, reward corruption, and rare discovery, DG achieves roughly $10{\times}$ lower error. When all four frictions act simultaneously, its compute advantage is order-of-magnitude and grows with task complexity.

研究の動機と目的

• 分散 RL での古くなったまたは破損した actor による驚きデータからのネガティブ学習の問題を動機づけ formalize する。
• 行動確率を要求せず delight（利得×驚異度）で更新をゲートする Delightful Policy Gradient（DG）を提案する。
• DG の堅牢性と利点を、 MNIST の老朽化、污染されたバンディット設定、および複数の摩擦を伴う transformer の系列タスクで示す。
• DG の利得がポリシーの改善とともに増大すること、符号を考慮しない再重み付けではこの効果を再現できないことを示す。

提案手法

• delight を現在のポリシー下での利得と行動 surprisal の積として定義する。
• サンプルごとの PG 項をシグモイドゲート w_t = sigma(delight_t / eta)（ eta = 1 ）で重み付けし、更新を sum_t w_t U_t grad log pi_theta(A_t|H_t) にする。
• DG は行動確率を要求せず、未知または破損した actor 方針の下でも意味を成す。
• 汚染下では PG の整合性が低下する一方、DG の整合性は改善し、ポリシーが改善するにつれて重なるモーメント M_nu(pi) が消失することを理論的に証明する。
• 正確な重要度重み付けは DG の方向性効果（符号依存性）を再現できないと主張する。
• 追加の wall-clock コストなしで、分散 RL パイプライン全体の置換として DG を使用可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 標準 PG の下で、分散的な摩擦（老化、 actor のバグ、報酬の汚染、希な発見）がポリシー勾配の方向にどう影響するか？
• RQ2 行動確率が未知または汚染されている場合、delight ベースのゲーティング機構は勾配整合性と学習を改善できるか？
• RQ3 汚染されたサンプリング設定において DG は厳密な重要度重み付けより優位性を保つか？
• RQ4 複数の摩擦と長さが増すタスクにおいて、 DG は系列決定タスクでどのように性能を発揮するか？

主な発見

• DG は老化がある MNIST で標準の PG および厳密な重要度重み付け PG に対して一貫して優れている。遅延範囲全体で遅延に対して効果を発揮。
• DG は老化、actor のバグ、報酬汚染、希な発見を伴う transformer 系列タスクでおよそ 10 倍の誤差低減を達成。
• 結合摩擦下で DG の計算優位はオーダー・オブ・マグニチュードで、タスクの複雑さとともに増大。
• バンディット解析では、DG の勾配整合性はポリシーが改善するにつれて向上する一方、PG の整合性は汚染下で崩壊する。
• 符号を無視した再重み付け、厳密な重要度サンプリングを含めても DG の方向性効果を再現できない。
• 4 摩擦のトークン反転実験では、DG はベースラインを大きく上回り、系列誤差でほぼ一桁の差に迫る。
• 組み合わせられた摩擦実験では、DG は系列長とともにスケールし、長い反転タスクをベースラインより効果的に解決する。