[論文レビュー] Breaking the Deadly Triad with a Target Network

Shangtong Zhang, Hengshuai Yao+1 more|arXiv (Cornell University)|Jan 21, 2021

Reinforcement Learning in Robotics参考文献 59被引用数 5

ひとこと要約

本稿では、関数近似とブートストラップを組み合わせたオフポリシー強化学習—一般的に「致命的三重奏」として知られる—を安定化するための、二重射影を施した新しいターゲットネットワーク更新ルールを提案する。ターゲットネットワークにリッジ正則化を組み合わせることで、政策評価および制御の両設定において正則化されたTD固定点への収束を証明し、制限のない変化する行動方策の下で、二段階最適化を必要としない最初の収束保証付き線形Q学習アルゴリズムを提供する。

ABSTRACT

The deadly triad refers to the instability of a reinforcement learning algorithm when it employs off-policy learning, function approximation, and bootstrapping simultaneously. In this paper, we investigate the target network as a tool for breaking the deadly triad, providing theoretical support for the conventional wisdom that a target network stabilizes training. We first propose and analyze a novel target network update rule which augments the commonly used Polyak-averaging style update with two projections. We then apply the target network and ridge regularization in several divergent algorithms and show their convergence to regularized TD fixed points. Those algorithms are off-policy with linear function approximation and bootstrapping, spanning both policy evaluation and control, as well as both discounted and average-reward settings. In particular, we provide the first convergent linear $Q$-learning algorithms under nonrestrictive and changing behavior policies without bi-level optimization.

研究の動機と目的

• 関数近似、ブートストラップ、オフポリシー学習を組み合わせた際のオフポリシー強化学習における不安定性を解消すること。
• DQNのような深層強化学習アルゴリズムにおけるターゲットネットワークの経験的成功を理論的に裏付けること。
• 一般のオフポリシー設定でも収束を保証する新しいターゲットネットワーク更新ルールを開発すること。
• 割引報酬および平均報酬設定の両方において、線形関数近似を用いたオフポリシーアルゴリズムが正則化されたTD固定点に収束することを確立すること。
• 制限のない変化する行動方策の下で、二段階最適化を必要としない最初の収束保証付き線形Q学習アルゴリズムを提示すること。

提案手法

• 理論的解析と収束保証の向上を目的として、ポリャック平均化を拡張した二重射影を施した新しいターゲットネットワーク更新ルールを導入する。
• 主ネットワークがターゲットネットワークよりも速く更新される二段階時刻スケールフレームワークを採用し、更新を最小二乗回帰問題に変換する。
• 安定性と収束を保証するために、最小二乗問題にリッジ正則化を適用する。
• 政策評価および制御タスクの両方において、正則化されたTD固定点への収束を分析する。
• 割引報酬および平均報酬のMDPの両方にこの手法を適用し、広範なオフポリシーアルゴリズムのクラスをカバーする。
• ターゲットネットワークの軌道を制御するための射影に基づく更新を採用し、有界性と理論的取り扱いやすさを確保する。

実験結果

リサーチクエスチョン

• RQ1 新しい更新ルールを備えたターゲットネットワークは、関数近似とブートストラップを組み合わせたオフポリシー強化学習を安定化させることができるか？
• RQ2 提案されたターゲットネットワーク更新ルールは、一般のオフポリシー設定において正則化されたTD固定点への収束を保証するか？
• RQ3 制限のない変化する行動方策の下で、二段階最適化を必要とせずに線形Q学習は収束するか？
• RQ4 ターゲットネットワークが致命的三重奏の存在下で学習を安定化させる理論的メカニズムは何か？
• RQ5 ターゲットネットワーク更新における射影は、収束解析と安定性をどのように改善するか？

主な発見

• 二重射影を施した提案されたターゲットネットワーク更新ルールは、政策評価および制御タスクの両方において正則化されたTD固定点への収束を保証する。
• 本手法は、制限のない変化する行動方策の下でもオフポリシー線形Q学習の収束を達成し、従来の手法がしばしば発散する設定においても有効である。
• 二段階最適化を必要としないため、従来のアプローチよりも実用的で効率的である。
• 理論的解析により、ターゲットネットワークがブートストラップ更新を正則化された最小二乗回帰に変換することで学習プロセスを安定化させていることが示された。
• BairdとKolterの例に対する実験的検証により、標準的なオフポリシーTDおよびQ学習が失敗する状況でも、本手法が発散を回避することが確認された。
• 収束は割引報酬設定および平均報酬設定の両方で確立されており、本手法の適用範囲が広がっている。