[論文レビュー] Efficient Optimistic Exploration in Linear-Quadratic Regulators via Lagrangian Relaxation

Marc Abeille, Alessandro Lazaric|arXiv (Cornell University)|Jul 13, 2020

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

この論文は、ラグランジュスラックを用いた定式化により、線形二次調節器（LQR）における楽観的探索のための計算的に効率的なアルゴリズムであるLagLQを提案する。強い双対性を証明し、ϵ-最適なコントローラーがO(log(1/ϵ))個のリカチ方程式を解くことで計算可能であり、多項式時間の複雑さでÕ(√T)のレグレットを達成する。これは、最適なレグレット保証を持つ最初の効率的な信頼ベースLQRアルゴリズムである。

ABSTRACT

We study the exploration-exploitation dilemma in the linear quadratic regulator (LQR) setting. Inspired by the extended value iteration algorithm used in optimistic algorithms for finite MDPs, we propose to relax the optimistic optimization of \ofulq and cast it into a constrained extit{extended} LQR problem, where an additional control variable implicitly selects the system dynamics within a confidence interval. We then move to the corresponding Lagrangian formulation for which we prove strong duality. As a result, we show that an $ε$-optimistic controller can be computed efficiently by solving at most $O\big(\log(1/ε)\big)$ Riccati equations. Finally, we prove that relaxing the original \ofu problem does not impact the learning performance, thus recovering the $ ilde{O}(\sqrt{T})$ regret of \ofulq. To the best of our knowledge, this is the first computationally efficient confidence-based algorithm for LQR with worst-case optimal regret guarantees.

研究の動機と目的

• 最適なレグレット保証を持つ信頼ベースの探索のための計算的に効率的なアルゴリズムの欠如に応えること。
• ラグランジュスラックを用いて問題を制約付き拡張LQRに変換することで、LQRにおける楽観的コントローラーの効率的計算を可能にすること。
• 信頼楕円体制約を緩和してもレグレット性能が劣化しないことを証明し、OFU-LQのÕ(√T)レグレットバウンドを維持すること。
• ラグランジュ形式において強い双対性を確立し、リカチ方程式の解法により効率的な解決を可能にすること。
• SDPに基づく手法（例：OSLO）の高コストや、探索-次から-決定戦略の長大な初期化フェーズを回避する実用的でスケーラブルなアルゴリズムを提供すること。

提案手法

• 楽観的有限時限LQR問題における信頼楕円体制約を緩和し、信頼区間内のダイナミクスを選択する追加の制御変数を備えた制約付き拡張LQRに変換する。
• 制約付きLQR問題にラグランジュスラックを適用し、信頼制約に関連する双対変数を備えた正則化最適化問題に変換する。
• 強い双対性を証明し、双対問題の最適解が元の制約付き問題の最適解を回復できることを保証する。
• ϵ-最適かつϵ-妥当なコントローラーは、双対形式を活用して最大O(log(1/ϵ))個のリカチ方程式を解くことで計算可能である。
• まれなコーナーケースに対応するバックアップ手順を採用しており、双対解が元の制約を満たさない場合に備えるが、実験結果ではこのケースはほとんど発生しない。
• 遅延更新をサポートするように設計されており、時間経過に伴いコントローラー再計算の回数を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 楽観的有限時限LQR問題を、計算効率を保ちつつレグレット保証を維持できる形に再定式化できるか？
• RQ2 OFU-LQR問題における信頼楕円体制約を緩和しても、レグレット性能に影響を与えるか？
• RQ3 ラグランジュスラックを用いて、LQRにおける信頼ベース探索のための計算的に効率的なアルゴリズムを導出できるか？
• RQ4 ラグランジュ形式下で、ϵ-最適コントローラーを計算する際の計算複雑度はどの程度か？
• RQ5 CCECやOSLOといった既存の効率的手法と比較して、提案手法のレグレットと実行時間の性能はどの程度か？

主な発見

• 提案されたラグランジュスラックアプローチは強い双対性を達成し、双対問題の最適解が元の制約付きLQR問題の最適解を回復できることを保証する。
• ϵ-最適なコントローラーは最大O(log(1/ϵ))個のリカチ方程式を解くことで計算可能であり、計算オーバーヘッドが低く、多項式時間のアルゴリズムとなる。
• アルゴリズムのレグレットはOFU-LQのÕ(√T)バウンドと一致しており、信頼制約を緩和しても学習性能が劣化しないことを確認した。
• 実験的評価では、CCECがノイズ分散を低くチューニングされた場合でさえ、LagLQがレグレット性能でCCECを上回っていることが示され、LagLQの不確実性を考慮した探索がより効果的であることが示唆された。
• LagLQの実装は非常に効率的で、1回のコントローラー計算に50〜80 msで収束し、ϵ = 10⁻¹²の場合約35〜40イテレーションで完了する。バックアップ手順はほとんど発動しない。
• OSLOの長大な初期化フェーズを回避し、SDPに基づくアプローチよりもスケーラブルである。