[論文レビュー] Convergent Tree Backup and Retrace with Function Approximation

Abdelaziz Touati, Pierre‐Luc Bacon+2 more|arXiv (Cornell University)|May 25, 2017

Reinforcement Learning in Robotics参考文献 32被引用数 7

ひとこと要約

本稿は、線形関数近似を組み合わせた際の Tree Backup および Retrace アルゴリズムにおける不安定性を、理論的および実験的に同定する。また、凸-凹なサドルポイント定式化を用いて、射影や Polyak 平均化を必要とせず、O(1/k) 収束を保証する、収束性・勾配ベースのアルゴリズム GTB および G Retrace を提案する。これにより、関数近似を伴う安定的かつ効率的な非政策時差学習が実現される。

ABSTRACT

Off-policy learning is key to scaling up reinforcement learning as it allows to learn about a target policy from the experience generated by a different behavior policy. Unfortunately, it has been challenging to combine off-policy learning with function approximation and multi-step bootstrapping in a way that leads to both stable and efficient algorithms. In this work, we show that the extsc{Tree Backup} and extsc{Retrace} algorithms are unstable with linear function approximation, both in theory and in practice with specific examples. Based on our analysis, we then derive stable and efficient gradient-based algorithms using a quadratic convex-concave saddle-point formulation. By exploiting the problem structure proper to these algorithms, we are able to provide convergence guarantees and finite-sample bounds. The applicability of our new analysis also goes beyond extsc{Tree Backup} and extsc{Retrace} and allows us to provide new convergence rates for the GTD and GTD2 algorithms without having recourse to projections or Polyak averaging.

研究の動機と目的

• 非政策時差学習における線形関数近似を組み合わせた際の Tree Backup および Retrace アルゴリズムの不安定性を理論的・実験的に同定・分析すること。
• 既存手法の限界を克服し、この設定において収束性と安定性を保証する新たな勾配ベースのアルゴリズムを開発すること。
• 新規に提案するアルゴリズムの収束保証および有限標本バウンドを、独創的なサドルポイント定式化を用いて確立すること。
• GTD や GTD2 といった既存アルゴリズムに対しても、射影や Polyak 平均化を要せず、収束速度の特性を改善すること。
• GQ(λ) や AB-Trace(λ) といった最先端手法と比較して、新アルゴリズムのロバスト性およびサンプル効率を実験的に検証すること。

提案手法

• 政策評価問題を、プライマル変数（関数パラメータ）とデュアル変数（時差誤差）を含む凸-凹なサドルポイント問題として定式化する。
• プライマルとデュアル変数の双線形結合を通じて、平均二乗投影ベルヌーイ誤差（MSPBE）を最小化する確率的プライマル-デュアル勾配アルゴリズムを導出する。
• 更新の tractability と収束性を確保するための二次的正則化項を用い、近位写像や強い凸性仮定を回避する。
• 通常微分方程式（ODE）法を用いて平均ダイナミクスを分析し、関数近似を組み合わせた元の Tree Backup および Retrace の不安定性を証明する。
• 射影ステップや Polyak 平均化に依存せず、O(1/k) 収束速度を達成できる、新たな解析技術を用いる。
• 同じフレームワークを用いて、GTD および GTD2 アルゴリズムを再導出し、収束速度の境界を改善する。

実験結果

リサーチクエスチョン

• RQ1 なぜ Tree Backup および Retrace アルゴリズムは、線形関数近似を組み合わせると収束しなくなるのか？
• RQ2 関数近似とマルチステップのブートストラップを組み合わせた、安定的かつ収束性・効率性を備えた非政策時差学習アルゴリズムを設計できるか？
• RQ3 提案アルゴリズムの収束速度は何か？ また、射影や Polyak 平均化を必要とせず、その速度を確立できるか？
• RQ4 提案されたサドルポイントフレームワークを、GTD や GTD2 といった既存アルゴリズムの収束解析を改善するために拡張できるか？
• RQ5 GQ(λ) や AB-Trace(λ)、その他の最先端手法と比較して、実用的側面において提案アルゴリズムのロバスト性とサンプル効率はどのように異なるか？

主な発見

• ODE 分析と具体的な反例を用いて、Tree Backup および Retrace アルゴリズムが線形関数近似と組み合わせると理論的・実験的に不安定であることが示された。
• 提案された GTB および G Retrace アルゴリズムは、射影や Polyak 平均化を必要とせず、O(1/k) 収束速度を達成し、安定した学習を保証する。
• ステップサイズの選択に対してロバストであることが、NMSE 分布のボックスプロットから示された。特に GTB(λ) は最小の分散を示した。
• G Retrace(λ) と AB-Trace(λ) は、λ のすべての値でほぼ同一の最良 MSPBE 値を達成しており、両者が同一の目的関数を最小化していることを確認した。
• NMSE の 5 筋目分位数から、GQ(λ) は重要度サンプリングによる高分散のため、高いばらつきを示す一方、GTB および G Retrace はより安定的かつ効率的であることが分かった。
• サドルポイントフレームワークにより、GTD および GTD2 の収束速度解析が向上し、元のアルゴリズムの範囲を超えて拡張された。