[論文レビュー] A Tour of Reinforcement Learning: The View from Continuous Control

Benjamin Recht|arXiv (Cornell University)|Jun 25, 2018

Reinforcement Learning in Robotics参考文献 70被引用数 21

ひとこと要約

このサーベイは、未知のダイナミクス下での最適制御として強化学習（RL）を定式化することで、強化学習（RL）と制御理論を橋渡しする。線形二次制御（LQR）を事例として用い、モデルベースのRL手法が理論的・実践的にLQRにおいてモデルフリー手法を著しく上回ることを示し、複雑な環境における安全で信頼性の高い学習システムを構築するには制御理論のツールを統合することが不可欠であると主張する。

ABSTRACT

This manuscript surveys reinforcement learning from the perspective of optimization and control with a focus on continuous control applications. It surveys the general formulation, terminology, and typical experimental implementations of reinforcement learning and reviews competing solution paradigms. In order to compare the relative merits of various techniques, this survey presents a case study of the Linear Quadratic Regulator (LQR) with unknown dynamics, perhaps the simplest and best-studied problem in optimal control. The manuscript describes how merging techniques from learning theory and control can provide non-asymptotic characterizations of LQR performance and shows that these characterizations tend to match experimental behavior. In turn, when revisiting more complex applications, many of the observed phenomena in LQR persist. In particular, theory and experiment demonstrate the role and importance of models and the cost of generality in reinforcement learning algorithms. This survey concludes with a discussion of some of the challenges in designing learning systems that safely and reliably interact with complex and uncertain environments and how tools from reinforcement learning and control might be combined to approach these challenges.

研究の動機と目的

• 未知のダイナミクスを伴う最適制御としてRLを定式化することで、強化学習と制御理論を統合すること。
• LQR問題をベンチマークとして用い、モデルフリーとモデルベースのRL手法の相対的性能を調査すること。
• 理論的特性がLQRにおける実験的結果と一致することを実証すること。
• LQRから得られる知見をより複雑な非線形システムに拡張し、モデルの正確さとアルゴリズムの一般性の間の恒久的なトレードオフを示すこと。
• 実世界の応用において安全性、信頼性、形式的証明を確保するため、制御理論のツールをRLに統合するよう提言すること。

提案手法

• 未知のシステムダイナミクスを伴う確率的最適制御問題としてRLを定式化し、期待累積報酬を目的関数とする。
• モデルフリーとモデルベースのRL技術を比較するための標準的問題として、未知のダイナミクスを伴う線形二次制御（LQR）を分析する。
• 学習理論および制御理論のツールを適用し、LQRの非漸近的性能バウンドを導出し、理論と実効的行動を結びつける。
• LQRの事例研究を通じて、ポリシー勾配法（モデルフリー）とシステム同定およびモデル予測制御（モデルベース）の有効性を対比する。
• 未知のダイナミクス下でも、モデルベース手法がLQRにおいてより優れたサンプル効率と一般化性能を示すことを実証する。
• 特に不確実性の処理と安定性の確保において、両手法の長所を統合したモデルフリーとモデルベースの統合手法を提言する。

実験結果

リサーチクエスチョン

• RQ1 未知のダイナミクスを伴う標準的LQR問題において、モデルフリーとモデルベースのRL手法は、性能とサンプル効率の点でどのように比較されるか？
• RQ2 特に非漸近的性能バウンドを含むRLの理論的特性は、LQRにおける実効的行動を正確に予測できるか？
• RQ3 LQRから得られる知見は、連続制御におけるより複雑な非線形制御問題にどの程度一般化可能か？
• RQ4 モデルは、学習ベースの制御システムの安全性と信頼性を確保するために果たす役割は何か？
• RQ5 制御理論と強化学習をどのように統合することで、実世界への導入に耐える強固で証明可能な学習システムを構築できるか？

主な発見

• モデルベースのRL手法は、LQR問題において理論的性能バウンドおよび実験的結果の両面で、ポリシー勾配法などのモデルフリー手法を著しく上回る。
• LQR性能の非漸近的理論的特性が、観察された実験的行動と密接に一致しており、このような分析手法の有効性が裏付けられる。
• 非線形制御問題においても、モデルフリーとモデルベース手法の性能格差は継続的に見られ、モデルの正確さが信頼性の高い学習に不可欠であることを示唆する。
• モデルフリーRLにおける一般性のコスト（たとえば、構造的仮定の欠如）は、実践的に低いサンプル効率と不安定性を引き起こす。
• システム同定やロバスト制御などの制御理論ツールをRLと統合することで、より良い安全性の保証とより予測可能な行動が可能になる。
• LQRの事例研究から、モデルは単なる有用性を越えて、不確実性下でも信頼性と効率性を実現する学習を達成するために不可欠であることが明らかになった。