[論文レビュー] Logarithmic regret for episodic continuous-time linear-quadratic reinforcement learning over a finite-time horizon

Matteo Basei, Xin Guo+2 more|arXiv (Cornell University)|Jun 27, 2020

Advanced Bandit Algorithms Research参考文献 33被引用数 12

ひとこと要約

本稿は、未知のシステムダイナミクスを有するエピソード型連続時間線形二次制御問題に対する最小二乗強化学習アルゴリズムを提案する。リカッチ方程式の摂動解析と連続時間推定器の超指数的性質を活用することで、$M$ 個の学習エピソードにおいて $\/mathcal{O}((\ln M)(\ln\ln M))$ の対数的レグレットバウンドを達成する。離散時間への拡張も時間離散化誤差バウンドを保ちながら類似のレグレットを維持する。

ABSTRACT

We study finite-time horizon continuous-time linear-quadratic reinforcement learning problems in an episodic setting, where both the state and control coefficients are unknown to the controller. We first propose a least-squares algorithm based on continuous-time observations and controls, and establish a logarithmic regret bound of order $O((\ln M)(\ln\ln M))$, with $M$ being the number of learning episodes. The analysis consists of two parts: perturbation analysis, which exploits the regularity and robustness of the associated Riccati differential equation; and parameter estimation error, which relies on sub-exponential properties of continuous-time least-squares estimators. We further propose a practically implementable least-squares algorithm based on discrete-time observations and piecewise constant controls, which achieves similar logarithmic regret with an additional term depending explicitly on the time stepsizes used in the algorithm.

研究の動機と目的

• 未知の状態および制御係数を有するエピソード型連続時間線形二次強化学習を扱う。
• 有限区間設定における連続時間LQR問題の非漸近的レグレットバウンドを確立する。
• 離散時間観測と区分的定数制御に基づく実用的アルゴリズムを構築し、対数的レグレットを維持する。
• リカッチ方程式のロバスト性を通じて、パラメータ推定誤差とシステム安定性の相互作用を分析する。
• 理論的連続時間RLと実装可能なアルゴリズムの間のギャップを、離散化効果を定量的に評価することで埋める。

提案手法

• 全パス観測を用いた連続時間最小二乗推定器を設計し、未知のシステムパラメータを推定する。
• リカッチ微分方程式の摂動解析を用いて、パラメータ不確実性下でのロバスト性と安定性を定量化する。
• 連続時間最小二乗推定器の超指数的尾部バウンドを用いて、パラメータ推定誤差を制御する。
• ステップサイズ $\tau = T/N$ を用いた時間離散化と区分的定数制御を用いた離散時間バージョンを提案する。
• 信頼領域と適応的サンプルサイズ $m_\ell = 2^\ell m_0$ を用いた再帰的学習スキームを導入し、エピソード間でパラメータ推定を精緻化する。
• 推定誤差バウンドと時間離散化およびパラメータ不確実性による制御性能損失を組み合わせることで、レグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 未知のダイナミクスを有する連続時間最小二乗アルゴリズムは、エピソード型LQRで対数的レグレットを達成できるか？
• RQ2 リカッチ方程式の正則性は、パラメータ不確実性下での制御方策のロバスト性にどのように影響するか？
• RQ3 離散時間観測と区分的定数制御を用いる場合、時間離散化はレグレットにどのような影響を及けるか？
• RQ4 離散サンプリングを用いる実用的アルゴリズムは、連続時間の理想状態と同等のレグレットを達成できるか？
• RQ5 パラメータ推定誤差が十分に速く減少するための条件は何か？

主な発見

• 提案された連続時間最小二乗アルゴリズムは、$M$ 個のエピソードにおいてレグレットバウンド $\/mathcal{O}((\ln M)(\ln\ln M))$ を達成する。ここで $M$ は学習エピソード数である。
• レグレットバウンドは、リカッチ方程式の摂動解析と最小二乗推定器の超指数的尾部バウンドの二段階的分析によって確立される。
• 離散時間実装では、時間離散化誤差に起因する追加項 $\sum_{\ell=0}^{\ln M} m_\ell N_\ell^{-2}$ を加えた $\/mathcal{O}((\ln M)(\ln\ln M))$ のレグレットバウンドが得られる。
• パラメータ推定誤差は、高確率で $\mathcal{O}(\sqrt{(-\ln \delta)/m} + (-\ln \delta)/m + ((-\ln \delta)^2)/m^2 + 1/N)$ として減少することが示された。ここで $m$ はサンプル数、$N$ は時間離散化ステップ数である。
• 期待フィッシャー情報行列 $\mathbb{E}[V^{\psi^{\theta,\tau}}]$ の可逆性が一様にバウンドされており、エピソード全体にわたり安定なパラメータ推定を保証する。
• 解析により、制御者がシステムダイナミクスの事前知識を持たない場合でも、ややいびつな正則性および同定可能性条件の下で、対数的レグレットが維持されることを確認した。