[論文レビュー] Optimal and Learning Control for Autonomous Robots

Jonas Buchli, Farbod Farshidian+3 more|arXiv (Cornell University)|Aug 30, 2017

Advanced Control Systems Optimization参考文献 3被引用数 8

ひとこと要約

本稿は、動的計画法、確率的最適制御、強化学習を一貫した表記法で統合する、自律ロボットにおける最適制御と学習制御の統合フレームワークを提示する。高次元制御問題における勾配推定を効率化するため、正則化を施した差分に基づく方策勾配法を導入し、複雑なロボットシステムのフィードバック制御則のロバストな学習を可能にする。

ABSTRACT

Optimal and Learning Control for Autonomous Robots has been taught in the Robotics, Systems and Controls Masters at ETH Zurich with the aim to teach optimal control and reinforcement learning for closed loop control problems from a unified point of view. The starting point is the formulation of of an optimal control problem and deriving the different types of solutions and algorithms from there. These lecture notes aim at supporting this unified view with a unified notation wherever possible, and a bit of a translation help to compare the terminology and notation in the different fields. The course assumes basic knowledge of Control Theory, Linear Algebra and Stochastic Calculus.

研究の動機と目的

• ロボット制御のための単一の理論的・表記的枠組みにおいて、最適制御と強化学習を統合すること。
• 解析的勾配が不要な差分法と正則化を用いて、高次元制御問題における効率的な方策勾配推定を可能にすること。
• 繰り返し線形二次制御および経路積分的手法を用いて、フィードバック制御則の設計を支援すること。
• 理論と実装アルゴリズムを統合した教育的リソースとして、大学院レベルのロボット工学教育を支援すること。
• 用語、表記、アルゴリズム構造を統一することで、古典的最適制御と現代の強化学習を橋渡しすること。

提案手法

• 後向き探索とコスト・トゥ・ゴール関数を用いて、決定的および確率的システムにおける最適性の原則とベルマン方程式を導出する。
• ハミルトン＝ジャコビ＝ベルマン方程式を適用し、有限および無限の時間スパンにおける連続時間最適制御解を導出する。
• システムのダイナミクスおよびコスト関数の局所的線形二次近似を用いて、繰り返し線形二次制御（ILQC）を実装する。
• 乱数による摂動と線形方程式の疑似逆行列解を用いた差分に基づく方策勾配推定を導入：$[\nabla J(\theta); J(\theta)] = (\Delta\Theta^T\Delta\Theta + \lambda I)^{-1}\Delta\Theta^T R$。
• 数値的安定性の向上と勾配推定の分散低減のため、疑似逆行列に正則化（$\lambda I$）を適用する。
• ロールアウトに基づく報酬推定と一般化された差分法によるパラメータ更新を用いた勾配降下法を実装する。

実験結果

リサーチクエスチョン

• RQ1 最適制御と強化学習を、単一の理論的・表記的枠組みで統合するにはどうすればよいか？
• RQ2 解析的勾配が得られない高次元連続制御問題において、方策勾配を推定する最も効果的な方法は何か？
• RQ3 正則化は、差分に基づく方策勾配推定のロバスト性と正確性をどのように向上させるか？
• RQ4 コスト・トゥ・ゴール関数は、効率的な後向き動的計画法とフィードバック制御則合成を可能にする役割を果たすか？
• RQ5 繰り返し線形二次制御および経路積分法は、ロボティクス分野における複雑な非線形最適制御問題をどのように解けるか？

主な発見

• 正則化を施した差分方策勾配法は、高次元制御問題における勾配推定を、数値的に安定かつ正確に実現する手段を提供する。
• 疑似逆行列に正則化を適用することで、摂動の数がパラメータ次元を上回る場合でも、勾配推定の分散が低減される。
• コスト・トゥ・ゴール関数は、最適制御則の効率的後向き計算を可能にし、動的計画法および価値反復の基盤を形成する。
• ILQCアルゴリズムは、システムを繰り返し線形化し、連続するLQR問題を解くことで、局所的に最適なフィードバック制御則に収束する。
• 経路積分法は、特定の仮定の下で閉形式解を得られるサンプリングベースの最適制御を可能にし、効率的な制御則学習を実現する。
• 一般化された差分法は、有限および無限の時間スパン問題に適用可能であり、報酬関数の適切な修正を経て利用可能である。