[論文レビュー] Regret Bounds for Model-Free Linear Quadratic Control.

Yasin Abbasi-Yadkori, Nevena Lazic+1 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Bandit Algorithms Research被引用数 18

ひとこと要約

この論文は、線形二次（LQ）制御のためのモデルフリーなアルゴリズムを提示しており、問題をエキスパート予測に還元することで、Tラウンドにおけるレグレットバウンド $O(T^{3/4})$ を達成する。このアプローチは、連続制御の一般用途で強力な理論的保証を提供するモデルフリーなフレームワークである。

ABSTRACT

Model-free approaches for reinforcement learning (RL) and continuous control find policies based only on past states and rewards, without fitting a model of the system dynamics. They are appealing as they are general purpose and easy to implement; however, they also come with fewer theoretical guarantees than model-based approaches. In this work, we present a model-free algorithm for controlling linear quadratic (LQ) systems, which is the simplest setting for continuous control and widely used in practice. Our approach is based on a reduction of the control of Markov decision processes to an expert prediction problem. We show that the algorithm regret scales as $O(T^{3/4})$, where $T$ is the number of rounds.

研究の動機と目的

• 線形二次システムのための、理論的性能保証が保証されたモデルフリーな強化学習アルゴリズムの開発。
• 連続制御におけるモデルフリー手法の実用性と、モデルベース手法の理論的厳密性の間のギャップを埋める。
• 制御理論の基盤をなす LQ 制御設定において、モデルフリーなアルゴリズムのレグレットバウンドを確立すること。
• エキスパート予測への還元が、システムの動的モデルを必要としない状態と報酬のフィードバックのみで、強力な性能バウンドをもたらすかを示すこと。

提案手法

• アルゴリズムは、オンライン学習技術を活用して、マークフ・決定過程の制御をエキスパート予測問題に還元する。
• システムの動的特性をモデル化しないで、観測された状態と報酬にのみ依存するポリシー最適化フレームワークを採用する。
• オンライン凸最適化を適用して、フィードバックに基づくポリシー更新の系列を用いて、時間経過に伴うレグレットを最小化する。
• レグレット解析は、損失が有界な一連のエキスパート予測問題への還元を通じて導出され、理論的スケーリングバウンドの実現を可能にする。
• システムの遷移関数やコスト関数の知識がなくても動作する。観測された軌道にのみ依存する。
• オンライン学習のレグレット分解を用いた、最適ポリシーからの累積的ずれの新規解析を通じて、$O(T^{3/4})$ のレグレットバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーなアルゴリズムが、システムの動的特性をモデル化せずに線形二次制御で非線形レグレットを達成できるか？
• RQ2 モデルフリー手法が LQ 制御設定で達成可能な最良のレグレットバウンドは何か？
• RQ3 エキスパート予測への還元が、状態と報酬のフィードバックのみで、連続制御において強力な理論的保証をもたらすか？
• RQ4 レグレットスケーリングの観点から、モデルフリー手法の性能はモデルベース手法と比べてどうか？

主な発見

• 提案されたモデルフリーなアルゴリズムは、$O(T^{3/4})$ のレグレットバウンドを達成しており、これは非線形であり、モデルフリー制御における顕著な理論的保証を示している。
• レグレットスケーリングはエキスパート予測への還元を通じて確立され、制御の文脈でオンライン学習ツールの利用が可能になる。
• システムの動的特性の知識が不要であるため、環境が未知または複雑な状況にも適用可能である。
• モデルを必要としないにもかかわらず、強力な理論的性能を維持しており、モデルフリー手法が実用的でありながら理論的にも妥当であることを示している。