[論文レビュー] Regularity and stability of feedback relaxed controls

Christoph Reisinger, Yufei Zhang|arXiv (Cornell University)|Jan 9, 2020

Reinforcement Learning in Robotics参考文献 46被引用数 5

ひとこと要約

本稿では、多次元確率的抜出し時間問題に対する頑健なフィードバック制御を構築するために、探索報酬を組み込んだ緩和された制御正則化を導入する。最適フィードバック制御のホルダー連続性を確立し、パラメータ摂動下での価値関数および制御のリプシッツ安定性を証明し、探索に基づく強化学習のヒューリスティクスの理論的基盤を提供する。

ABSTRACT

This paper proposes a relaxed control regularization with general exploration rewards to design robust feedback controls for multi-dimensional continuous-time stochastic exit time problems. We establish that the regularized control problem admits a Hölder continuous feedback control, and demonstrate that both the value function and the feedback control of the regularized control problem are Lipschitz stable with respect to parameter perturbations. Moreover, we show that a pre-computed feedback relaxed control has a robust performance in a perturbed system, and derive a first-order sensitivity equation for both the value function and optimal feedback relaxed control. These stability results provide a theoretical justification for recent reinforcement learning heuristics that including an exploration reward in the optimization objective leads to more robust decision making. We finally prove first-order monotone convergence of the value functions for relaxed control problems with vanishing exploration parameters, which subsequently enables us to construct the pure exploitation strategy of the original control problem based on the feedback relaxed controls.

研究の動機と目的

• パラメータ摂動および不連続なargmax写像による、確率的制御問題におけるフィードバック制御の不安定性を解消すること。
• 連続時間の多次元系において、探索報酬を通じて頑健性を向上させる正則化制御フレームワークを構築すること。
• モデル不確実性下での正則化フィードバック制御および価値関数の理論的安定性および収束性を確立すること。
• 厳密な感度解析および収束解析を通じて、探索に基づく強化学習のヒューリスティクスを正当化すること。

提案手法

• ハミルトニアン・ジャコビ・ベルマン（HJB）方程式におけるargmax選択を滑らかにするために、一般の探索報酬を用いた緩和制御正則化を導入する。
• 探索パラメータに依存する係数を有する正則化されたHJB偏微分方程式を分析することで、最適フィードバック制御のホルダー連続性を確立する。
• モデルパラメータ摂動に対する価値関数および最適フィードバック制御の1次感度方程式を導出する。
• 係数（b, σ, c, f）における摂動下での価値関数およびフィードバック制御のリプシッツ安定性を証明する。
• ホルダー空間における補間不等式および事前推定を用いて、正則化HJB方程式の解の正則性を評価する。
• 探索パラメータが0に近づく際の価値関数の単調収束を示し、緩和制御から純粋な活用戦略を構築可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 探索報酬を組み込んだ正則化フィードバック制御は、多次元確率的制御問題においてホルダー連続性を達成できるか？
• RQ2 モデル係数（b, σ, c, f）の微小摂動下で、価値関数およびフィードバック制御はどのように振る舞うか？
• RQ3 事前に計算されたフィードバック緩和制御は、摂動を受けるシステムでも頑健な性能を示せるか？
• RQ4 パrameter変動に対する価値関数および最適制御の1次感度は何か？
• RQ5 探索パラメータが0に近づく際、正則化された価値関数は元の制御問題の価値関数に単調に収束するか？

主な発見

• 正則化問題の最適フィードバック制御はホルダー連続であり、滑らかで実装可能な方策を保証する。
• モデル係数（b, σ, c, f）における摂動下で、価値関数およびフィードバック制御はリプシッツ安定である。
• 事前に計算されたフィードバック緩和制御は、微小なモデル変更が加えられた場合でも、頑健な性能を示す。
• 価値関数および最適フィードバック制御の両方に対して1次感度方程式が導出され、モデル不確実性の勾配ベース解析が可能になる。
• 探索パラメータが0に近づく際、緩和制御問題の価値関数は、元の制御問題の価値関数に単調に収束する。
• 収束結果により、探索を徐々にゼロに近づけることで、フィードバック緩和制御から純粋な活用戦略を構築可能である。