[論文レビュー] Structured Policy Iteration for Linear Quadratic Regulator

Youngsuk Park, Ryan A. Rossi+3 more|arXiv (Cornell University)|Jul 13, 2020

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

この論文は、線形二次調節器（LQR）のための構造的ポリシー反復（S-PI）を導入する。S-PIは、解釈可能性、メモリ効率、分散計算の向上を目的として、(ブロック)スパarsityまたは低ランク構造を持つ構造的線形ポリシーを学習する手法である。S-PIは正則化を用いた反復的ポリシー評価と改善を実行し、滑らかさに基づく勾配推定を用いて、既知のモデルおよびモデルフリー設定の両方で線形収束を達成する。性能と構造的スパarsityのバランスは、調整可能なペナルティパラメータによって制御される。

ABSTRACT

Linear quadratic regulator (LQR) is one of the most popular frameworks to tackle continuous Markov decision process tasks. With its fundamental theory and tractable optimal policy, LQR has been revisited and analyzed in recent years, in terms of reinforcement learning scenarios such as the model-free or model-based setting. In this paper, we introduce the extit{Structured Policy Iteration} (S-PI) for LQR, a method capable of deriving a structured linear policy. Such a structured policy with (block) sparsity or low-rank can have significant advantages over the standard LQR policy: more interpretable, memory-efficient, and well-suited for the distributed setting. In order to derive such a policy, we first cast a regularized LQR problem when the model is known. Then, our Structured Policy Iteration (S-PI) algorithm, which takes a policy evaluation step and a policy improvement step in an iterative manner, can solve this regularized LQR efficiently. We further extend the S-PI algorithm to the model-free setting where a smoothing procedure is adopted to estimate the gradient. In both the known-model and model-free setting, we prove convergence analysis under the proper choice of parameters. Finally, the experiments demonstrate the advantages of S-PI in terms of balancing the LQR performance and level of structure by varying the weight parameter.

研究の動機と目的

• 既知および未知のモデル設定下におけるLQRにおける構造的線形ポリシーの理論的・実用的探求の不足に対処すること。
• LQRポリシーに(ブロック)スパarsityまたは低ランク構造を強制することで、解釈可能で、メモリ効率が良く、分散処理に適したポリシーを導出する手法を開発すること。
• 正則化を用いた既知モデルおよびモデルフリー設定下での構造的ポリシー反復の収束解析を提供すること。
• 調整可能な正則化パラメータを用いて、LQR性能とポリシー構造のトレードオフを実証すること。

提案手法

• スパarsityや低ランクなどの構造的ポリシー制約を最適化目的に組み込むために、正則化されたLQR問題を定式化する。
• 正則化ペナルティを用いた近接勾配更新を用いることで、ポリシー評価とポリシー改善ステップを統合した反復的アルゴリズムS-PIを提案する。
• 正則化コストの真の勾配を近似するための滑らかさに基づく勾配推定器を用いて、S-PIをモデルフリー設定に拡張する。
• 適応的にステップサイズを選択することで、安定的かつ単調な収束を保証するためのラインサーチ手順を採用する。
• 適切なパrameter選択のもとで、スペクトル半径と条件数の分析を用いて、定常点への線形収束を証明する。
• ポリシー構造と収束誤差の測定に、フロベニウスノルムと特異値分解を用いる。

実験結果

リサーチクエスチョン

• RQ1 性能を維持しつつ、LQRにおける構造的線形ポリシー（スパarsityまたは低ランク）を効果的に学習できるか？
• RQ2 正則化を用いたS-PIアルゴリズムは、既知モデルおよびモデルフリー設定の両方で線形収束するか？
• RQ3 正則化重みは、ポリシー構造とLQR性能のバランスをどのように制御するか？
• RQ4 固定ステップサイズと適応的ステップサイズの違いは、S-PIの収束性および安定性にどのような影響を与えるか？
• RQ5 滑らかさに基づく勾配推定は、モデルフリー設定における効果的なポリシー学習を可能にするか？

主な発見

• 適切なパラメータ選択のもとで、S-PIは既知モデルおよびモデルフリー設定の両方で定常点への線形収束を達成し、収束速度はシステムの条件数によって上限が定まる。
• 正則化重みを変化させることで、LQR性能とポリシー構造のバランスを効果的に制御でき、最適性とスパarsity／低ランク構造のトレードオフを実現できる。
• 実験では、S-PIが適応的ラインサーチステップサイズを用いることで単調に収束するが、固定ステップサイズでは不安定で単調でない挙動を示し、特に非常に小さなステップサイズでは顕著である。
• 収束解析から、誤差は1回の反復で最大で$1 - 1/(2 ilde{ ho})$の割合で減少することが示され、$ ilde{ ho}$はシステムの条件数に関連する。
• 成功収束の確率は$1 - o( ilde{ ho}^{-1})$より下限づけられており、仮定された条件下で高確率収束が保証される。
• 本手法は、低ランクおよびスパースポリシーを含む構造的ポリシーを効果的に処理でき、ラプラシアン系における実証的検証を通じてそのロバスト性が示された。