[論文レビュー] On Optimality of Adaptive Linear-Quadratic Regulators.

Mohamad Kazem Shirani Faradonbeh, Ambuj Tewari+1 more|arXiv (Cornell University)|Jun 28, 2018

Advanced Bandit Algorithms Research参考文献 18被引用数 11

ひとこと要約

本稿では、適応的線形二次調節器におけるレグレットの鋭い特徴付けを提供するため、適応的方策の新しい分解を導入し、修正された確実性等価法がほぼ平方根レートのレグレットを達成することを証明する。最適なパrameter同定レートを確立し、対数的レグレットにまでレグレットを低下させるために必要な最小限の追加情報も同定し、適応理論における主要なギャップを解消する。

ABSTRACT

Adaptive regulation of linear systems represents a canonical problem in stochastic control. Performance of adaptive control policies is assessed through the regret with respect to the optimal regulator, that reflects the increase in the operating cost due to uncertainty about the parameters that drive the dynamics of the system. However, available results in the literature do not provide a sharp quantitative characterization of the effect of the unknown dynamics parameters on the regret. Further, there are issues on how easy it is to implement the adaptive policies proposed in the literature. Finally, results regarding the accuracy that the system's parameters are identified are scarce and rather incomplete. This study aims to comprehensively address these three issues. First, by introducing a novel decomposition of adaptive policies, we establish a sharp expression for the regret of an arbitrary policy in terms of the deviations from the optimal regulator. Second, we show that adaptive policies based on a slight modification of the widely used Certainty Equivalence scheme are optimal. Specifically, we establish a regret of (nearly) square-root rate for two families of randomized adaptive policies. The presented regret bounds are obtained by using anti-concentration results on the random matrices employed when randomizing the estimates of the unknown dynamics parameters. Moreover, we study the minimal additional information needed on dynamics matrices for which the regret will become of logarithmic order. Finally, the rate at which the unknown parameters of the system are being identified is specified for the proposed adaptive policies.

研究の動機と目的

• 未知のシステムパラメータによる適応的線形二次調節器におけるレグレットの鋭い定量的特徴付けを提供すること。
• 確率的制御設定下での既存の適応的制御方策の実用性と実装可能性を扱うこと。
• 提案された適応的方策の下で未知のシステムパラメータがどの程度のレートで同定されるかを確立すること。
• レグレットを対数的オーダーにまで低下させるために必要な最小限の追加情報の特定すること。
• レグレットバウンド、方策の実装可能性、パラメータ推定の精度に関する文献におけるギャップを埋めること。

提案手法

• 最適レギュレータからの逸脱を用いてレグレットを表現する、適応的方策の新しい分解を導入すること。
• ランダム化されたパラメータ推定を用いた修正された確実性等価方策を分析し、最適なレグレット性能を達成すること。
• ランダム行列の反拡散性結果を適用して、ランダム化された適応的方策のタイトなレグレットバウンドを導出すること。
• 行列集中不等式を用いて、ランダム化下でのパラメータ推定の統計的挙動を定量化すること。
• 追加の事前情報に基づいて、レグレットが平方根から対数的オーダーに移行する条件を導出すること。
• 統計的学習理論を用いて、提案された適応的方策のパラメータ同定レートを定式化すること。

実験結果

リサーチクエスチョン

• RQ1 適応的LQRにおける最適性からの方策の逸脱とレグレットの正確な関係は何か？
• RQ2 修正された確実性等価方策は、適応的線形二次制御でほぼ最適なレグレットレートを達成できるか？
• RQ3 提案された適応的方策の下で、未知のシステムパラメータはどの程度のレートで推定されるか？
• RQ4 どの最小限の追加情報がレグレットを対数的オーダーにまで低下させるか？
• RQ5 ランダム化とランダム行列の反拡散性特性は、レグレットバウンドにどのように影響するか？

主な発見

• 任意の適応的方策のレグレットは、最適レギュレータからの逸脱を定量化する分解によって鋭く特徴付けられる。
• 修正された確実性等価方策は、時間区間に関して（ほぼ）平方根の速度でレグレットを達成し、根本的な下界と一致する。
• ランダム行列の反拡散性特性は、ランダム化推定スキームのタイトなレグレットバウンドを導出する上で中心的な役割を果たす。
• 提案された適応的方策は、線形回帰モデルにおける統計的最適性と整合的なパラメータ同定レートを達成する。
• 動的行列に関する追加の構造的情報が利用可能になると、レグレットを対数的オーダーにまで低下させることができる。
• 本研究は、統一的な枠組みの下で、適応的LQRにおけるレグレット、パラメータ同定レート、実装可能性の最初の完全な特徴付けを確立した。