[論文レビュー] On the Analysis of Model-free Methods for the Linear Quadratic Regulator

Zeyu Jin, Johann Michael Schmitt+1 more|arXiv (Cornell University)|Jul 8, 2020

Reinforcement Learning in Robotics参考文献 22被引用数 5

ひとこと要約

本論文は、線形二次調節器（LQR）設定におけるモデルフリー強化学習アルゴリズム—特にポリシー勾配、TD学習、アクタ・クリティック（AC）—について、初めてのグローバル線形収束性とサンプル複雑性の分析を提供する。ACアルゴリズムは、価値関数近似と軌道サンプリングによる勾配推定を活用することで、ポリシー勾配法よりも低いサンプル複雑性を達成することが示された。

ABSTRACT

Many reinforcement learning methods achieve great success in practice but lack theoretical foundation. In this paper, we study the convergence analysis on the problem of the Linear Quadratic Regulator (LQR). The global linear convergence properties and sample complexities are established for several popular algorithms such as the policy gradient algorithm, TD-learning and the actor-critic (AC) algorithm. Our results show that the actor-critic algorithm can reduce the sample complexity compared with the policy gradient algorithm. Although our analysis is still preliminary, it explains the benefit of AC algorithm in a certain sense.

研究の動機と目的

• モデルフリーRLアルゴリズムのLQR設定におけるグローバル線形収束性とサンプル複雑性の境界を確立すること。
• 初期のランダム初期化に限定されない一般のノイズ条件下でのポリシー勾配、TD学習、およびアクタ・クリティック（AC）手法の性能を分析すること。
• 収束に必要な軌道数の観点から、ポリシー勾配法とACアルゴリズムのサンプル効率を比較すること。
• 連続的かつ無限ホライズンの制御問題において、ポリシー最適化と価値関数推定の分析を統一すること。
• AC手法の実験的成功を理論的に裏付けるために、そのサンプル複雑性の優位性を定量化すること。

提案手法

• LQRにおけるポリシー評価に、線形価値関数近似を用いたTD学習を採用し、LSTDにおける線形方程式の解法を回避する。
• 軌道サンプリングによる勾配推定を用いたポリシー勾配およびアクタ・クリティックアルゴリズムを適用し、ポリシーパラメータライゼーションを用いてコスト・トゥ・ゴール関数を最適化する。
• 状態軌道とノイズ項のモーメントバウンドを活用し、推定勾配の分散に対するフロベニウスノルムを用いたバウンドを導出する。
• 割引率γが1に近いと仮定した非漸近的解析を実施し、log(γ) ≈ γ−1のような近似を許容する。
• ACアルゴリズムの勾配ノルムを制限する安定性仮定（仮定6.3）を導入し、有限サンプル下での収束を保証する。
• 価値関数近似誤差の制御とポリシー反復の収束性を組み合わせ、サンプルサイズと信頼度に反比例するステップサイズαを用いる。

実験結果

リサーチクエスチョン

• RQ1 一般のノイズ条件下で、LQR設定におけるポリシー勾配法のグローバル線形収束速度は何か？
• RQ2 LQRにおいて、TD学習のサンプル複雑性は、ポリシー勾配法およびアクタ・クリティック手法と比較してどのように異なるか？
• RQ3 アクタ・クリティックアルゴリズムは、LQRにおいてポリシー勾配法よりも低いサンプル複雑性を達成できるか？その条件は何か？
• RQ4 価値関数の近似誤差は、LQRにおけるポリシー最適化の収束にどのように影響するか？
• RQ5 割引率γは、LQRにおけるモデルフリーRLアルゴリズムのサンプル複雑性と収束速度にどのように寄与するか？

主な発見

• ポリシー勾配法は、ステップサイズと初期コストに依存するグローバル線形収束性をLQR設定で達成する。
• アクタ・クリティックアルゴリズムは、価値関数近似と低い分散の勾配推定を活用することで、ポリシー勾配法よりもサンプル複雑性が低い。
• ACアルゴリズムの必要な軌道数はO((1−γ)⁻²)であるのに対し、TD学習のサンプル複雑性はO((1−γ)⁻⁴)であるため、顕著な改善が得られる。
• ACアルゴリズムの反復回数TはO(1/(δε(1−γ)))であり、同じ誤差許容度εと信頼度δ下でポリシー勾配法よりも顕著に小さい。
• ACアルゴリズムにおけるサンプルサイズLを並列的にL個の軌道をサンプリングすることで縮小可能であり、勾配の分散をO((1−γ)⁻¹)に低下させ、収束速度が向上する。
• 分析により、ポリシー勾配はポリシー・パラメータに関する累積コストの勾配と等価であることが示され、最適化におけるその有用性が裏付けられた。