[論文レビュー] Near Optimality and Tractability in Stochastic Nonlinear Control.

Mohamed Naveed Gul Mohamed, Suman Chakravorty|arXiv (Cornell University)|Apr 1, 2020

Stochastic processes and financial applications被引用数 2

ひとこと要約

この論文は、名目的なオープンループ問題を解いた後、その周囲で線形フィードバックを適用することにより、確率的非線形システムに対する扱いやすいフィードバック制御設計を提案する。この手法は、真の確率的フィードバック則の4次精度以内で漸近的性能を達成し、不確実性下でのロボット計画において実証的に検証された。

ABSTRACT

We consider the problem of nonlinear stochastic optimal control. This is fundamentally intractable owing to Bellman's infamous curse of dimensionality. We present a principle for the tractable feedback design for such problems, wherein, first, a nominal open-loop problem is solved, followed by a suitable linear feedback design around the open-loop. The performance of the resulting feedback law is shown to be asymptotically close to the true stochastic feedback law to fourth order in a small noise parameter $\epsilon$. The decoupling theory is empirically tested on robotic planning problems under uncertainty.

研究の動機と目的

• ベルマンの次元の呪いにより、確率的非線形最適制御が根本的に扱いにくいことに対処する。
• 全ハミルトニアン・ジャコビ・ベルマン方程式を解くことを回避する、扱いやすいフィードバック設計フレームワークを開発する。
• 2段階のアプローチ（オープンループ最適化の後、線形フィードバック補正）を用いて、真の確率的フィードバック則に近い性能を達成する。
• 小さなノイズパラメータ ε に関して、性能の正確さが4次まで保証されるようにする。
• ロボット計画問題における不確実性下での実験的検証を行う。

提案手法

• 真の確率的制御問題を近似するための名目的なオープンループ最適制御問題を定式化する。
• 名目的なオープンループ軌道の周囲に線形フィードバックを適用して安定化と性能向上を図る。
• 摂動解析を用いて、提案されたフィードバックと真の確率的フィードバック則との間の性能差を導出する。
• フィードバック則の性能が ε の4次までで最適な確率的フィードバックに漸近的に収束することを確立する。
• 分解理論を活用して、フィードバック補正項の解析を簡素化する。
• 確率的摂動を伴うロボット運動計画タスクに、この手法を実装・テストする。

実験結果

リサーチクエスチョン

• RQ1 オープンループ最適化とその後の線形フィードバックの2段階フィードバック設計は、確率的非線形制御において近似的に最適な性能を達成できるか？
• RQ2 提案されたフィードバック則が、性能差の観点から真の確率的フィードバック則をどの程度正確に近似するか？
• RQ3 非線形確率的制御における次元の呪いが存在するにもかかわらず、この手法はどの程度扱いやすいか？
• RQ4 性能誤差のオーダーは、最適な確率的フィードバックに対してどの程度か？
• RQ5 不確実性を伴う実際のロボット計画シナリオにおいて、この手法はどの程度の性能を示すか？

主な発見

• 提案されたフィードバック則は、小さなノイズパラメータ ε において、真の確率的フィードバック則の4次精度以内で性能を達成する。
• 全非線形ハミルトニアン・ジャコビ・ベルマン方程式を解くことに対する、扱いやすい代替手法を提供する。
• 不確実性下のロボット計画問題における実験的結果から、このアプローチの有効性と実用性が示された。
• 分解理論により、性能差の解析が解析的に扱いやすくなった。
• ε → 0 のとき、フィードバック設計は漸近的に最適であり、誤差は O(ε⁴) のオーダーでスケーリングされる。
• このアプローチは、計算上の実行可能性を維持しながら、確率的環境下でオープンループ制御を著しく改善する。