[論文レビュー] Policy Gradient Methods for the Noisy Linear Quadratic Regulator over a Finite Horizon

Ben Hambly, Renyuan Xu+1 more|arXiv (Cornell University)|Nov 20, 2020

Reinforcement Learning in Robotics参考文献 47被引用数 11

ひとこと要約

本稿は、既知および未知のシステムパラメータを伴う有限時間ホライズンのノイズあり線形二次調節器（LQR）問題を解くためのポリシー勾配法を提案する。弱い仮定のもとでグローバルな線形収束を確立し、モデルフリー学習および実世界の応用（例：最適な資産清算）においても高いロバスト性を示し、実験的テストではモデルベースのベンチマークを最大20%上回った。

ABSTRACT

We explore reinforcement learning methods for finding the optimal policy in the linear quadratic regulator (LQR) problem. In particular, we consider the convergence of policy gradient methods in the setting of known and unknown parameters. We are able to produce a global linear convergence guarantee for this approach in the setting of finite time horizon and stochastic state dynamics under weak assumptions. The convergence of a projected policy gradient method is also established in order to handle problems with constraints. We illustrate the performance of the algorithm with two examples. The first example is the optimal liquidation of a holding in an asset. We show results for the case where we assume a model for the underlying dynamics and where we apply the method to the data directly. The empirical evidence suggests that the policy gradient method can learn the global optimal solution for a larger class of stochastic systems containing the LQR framework and that it is more robust with respect to model mis-specification when compared to a model-based approach. The second example is an LQR system in a higher dimensional setting with synthetic data.

研究の動機と目的

• 確率的ダイナミクスを伴う有限時間ホライズンLQR問題における最適制御のためのポリシー勾配法の開発および分析を行う。
• システムパラメータが未知であっても、弱い仮定のもとでポリシー勾配法のグローバルな線形収束保証を確立する。
• 実世界および合成LQR設定におけるモデルフリーのポリシー勾配学習とモデルベース手法のロバスト性および性能を評価する。
• 高次元システムおよび最適な資産清算などの実用的応用において、本手法の有効性を示す。

提案手法

• 論文は、フィードバック制御ポリシー行列のパラメータ空間におけるポリシー勾配降下法を採用し、期待コスト関数の勾配を用いてポリシーを更新する。
• システムダイナミクスおよびノイズ構造に対する弱い仮定のもとで、既知および未知のパラメータの両方に対してグローバルな線形収束を証明する。
• ポリシー空間の制約を扱うために、投影付きポリシー勾配法を導入し、最適化中の妥当な更新を保証する。
• 本手法は2つのテストケースに適用された：実市場データを用いた金融資産の最適清算と、4次元状態および2次元制御を有する高次元合成LQRシステム。
• パラメータが未知の場合、アルゴリズムはサンプル軌道からシステム行列を推定し、確率的勾配降下法を用いてポリシーを更新する。
• 収束は反復回数における正規化誤差の減少を用いて評価され、ステップサイズ選択の感度分析も実施された。

実験結果

リサーチクエスチョン

• RQ1 弱い仮定のもとで、ノイズありの確率的ダイナミクスを伴う有限時間ホライズンLQR問題において、ポリシー勾配法がグローバルな線形収束を達成できるか？
• RQ2 最適な資産清算タスクにおいて、モデルフリーのポリシー勾配学習の性能は、Almgren-Chrissのようなモデルベース手法と比べてどの程度優れているか？
• RQ3 パrametricなモデルベース手法と比較して、ポリシー勾配法はどの程度モデル誤指定に対してロバストか？
• RQ4 合成データを用いた高次元LQR問題において、アルゴリズムのスケーリング特性はいかがなっているか？
• RQ5 パラメータが未知の状況において、ステップサイズ選択が収束性および安定性に与える影響は何か？

主な発見

• 5種類の異なる金融株式において、イン-sampleおよびアウト・オブ・サンプルの両方で、Almgren-Chriss解に比べて期待コストで20%の改善が達成された。
• 高次元合成LQRケースでは、パラメータが既知の場合、ステップサイズ0.0005を用いて80反復目までに正規化誤差が10⁻²未満に低下した。
• パラメータが未知の場合、収束は遅く、より多くの反復回数を要した。これは、ポリシー最適化中にシステムダイナミクスを学習する課題を示している。
• ステップサイズ選択は収束に顕著な影響を及ぼした：極めて小さい（例：10⁻⁵）と進捗が遅く、逆に大きすぎる（例：2×10⁻³）と発散を引き起こした。
• モデルフリーのポリシー勾配アプローチは、強いパrametric仮定に依存するAlmgren-Chrissフレームワークよりも、モデル誤指定に対してより高いロバスト性を示した。
• 実験的結果から、ポリシー勾配法はLQRフレームワークを厳密に満たさないより広範な確率的システムに対してもグローバル最適解を学習可能であると示唆された。