[論文レビュー] Logarithmic Regret for Learning Linear Quadratic Regulators Efficiently

Asaf Cassel, Alon Cohen+1 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Bandit Algorithms Research参考文献 32被引用数 11

ひとこと要約

本稿では、線形二次調節器（LQR）のための効率的な学習アルゴリズムを提示し、2つの状況で対数的レグレットを達成する：(1) 未知なのは状態遷移行列 $A_\star$ のみ、(2) 未知なのは状態行動行列 $B_\star$ のみで、最適方策が非退化である場合。内在的システムノイズを用いた探索と、グリーディで多項式時間のアルゴリズムを活用することで、$O(\log^2 T)$ のレグレットを達成し、従来の $O(\sqrt{T})$ レグレットがタイトであるという考えを覆す。

ABSTRACT

We consider the problem of learning in Linear Quadratic Control systems whose transition parameters are initially unknown. Recent results in this setting have demonstrated efficient learning algorithms with regret growing with the square root of the number of decision steps. We present new efficient algorithms that achieve, perhaps surprisingly, regret that scales only (poly)logarithmically with the number of steps in two scenarios: when only the state transition matrix $A$ is unknown, and when only the state-action transition matrix $B$ is unknown and the optimal policy satisfies a certain non-degeneracy condition. On the other hand, we give a lower bound that shows that when the latter condition is violated, square root regret is unavoidable.

研究の動機と目的

• 未知の遷移パラメータを有するLQRシステムのための、サブルートレグレットを達成する効率的な学習アルゴリズムの設計。
• 未知行列に対する特定の構造的仮定の下で、LQRにおける多項式対数的レグレットが達成可能かどうかの調査。
• 最適方策が近似的に退化している場合に、$O(\sqrt{T})$ レグレットが避けられないことを示す理論的下界の確立。
• LQRダイナミクスにおける強い凸性と内在的ノイズが、通常のバンドイット問題よりも高速な収束レートを可能にすることの実証。

提案手法

• 未知パラメータ空間における探索を導くために、「不確実性の面前での楽観主義」の原則を用いる。
• システムダイナミクスの内在的ノイズを活用し、明示的な探索ボーナスなしに効率的な探索を可能にする。
• 推定されたシステムパラメータから導かれるグリーディ制御則を用い、安定性と性能の境界を強安定パラメータ $\kappa$ と $\gamma$ を用いて導出する。
• リカッチ方程式の解の行列ノルムとスペクトル特性を用いて、コストの偏差をバインドする。
• 主な技術的ツールとして、行列濃度バインディングとリャプノフ方程式およびスペクトルノルムを用いた安定性解析を用いる。
• アルゴリズムは各ステップで多項式時間で実行され、オンライン最小二乗回帰を用いて $A_\star$ または $B_\star$ の推定値を維持する。

実験結果

リサーチクエスチョン

• RQ1 状態遷移行列 $A_\star$ のみが未知である場合に、LQR学習で対数的レグレットを達成できるか？
• RQ2 状態行動行列 $B_\star$ のみが未知であり、最適方策が非退化である場合に、多項式対数的レグレットが可能か？
• RQ3 最適方策が近似的に退化している場合に、LQRにおけるレグレットの根本的限界は何か？
• RQ4 LQR学習において、内在的システムノイズが明示的な探索戦略を代替できるか？
• RQ5 一般LQR学習において $O(\sqrt{T})$ レグレットは真に避けられないものか、それとも構造的条件によってより高速なレートが可能か？

主な発見

• $B_\star$ が既知で $A_\star$ が未知の場合、アルゴリズムは内在的ノイズを用いた探索により $O(\log^2 T)$ のレグレットを達成する。
• $A_\star$ が既知で最適方策 $K_\star$ がフルランクの場合、アルゴリズムは効率的な計算で $O(\log^2 T)$ のレグレットを達成する。
• 下界の結果により、$B_\star$ が未知で $K_\star$ が近似的に退化している場合、$\Omega(\sqrt{T})$ のレグレットは避けられないことが示され、単一入力系でも同様である。
• 結果から、LQRにおける強い凸性とシステム構造が、通常のバンドイット問題よりも高速なレグレットレートを可能にすることが明らかになった。
• 提案されたアルゴリズムは計算的に効率的であり、各ステップの実行時間はシステム次元の多項式で表される。
• 解析により、$K$-安定パラメータ $\kappa$ と $\gamma$ が推定誤差と性能損失のトレードオフを制御することが示された。