[論文レビュー] Risk sensitive nonlinear optimal control with measurement uncertainty.

Brahayam Pontón, Stefan Schaal+1 more|arXiv (Cornell University)|May 13, 2016

Control Systems and Identification参考文献 17被引用数 4

ひとこと要約

本論文は、期待コストと高次モーメントの組み合わせを最適化することで、プロセスノイズと測定ノイズを明示的に取り入れたリスクセンシティブな非線形最適制御フレームワークを提案する。この手法は、推定誤差とプロセスノイズの共分散に依存するアフィンフィードバック制御則を導出し、確信性等価原理から離れて、不確実な環境下でのロバスト制御を可能にする。2自由度のマニピュレータを用いた実験により、ウェイポイントタスクおよび接触タスクにおいて有効性が検証された。

ABSTRACT

We present an algorithm to synthesize locally-optimal feedback controllers that take into account additive process and measurement noise for nonlinear stochastic optimal control problems. The algorithm is based on an exponential performance criteria which allows to optimize not only the expected value of the cost, but also a linear combination of its higher order moments; thereby, the cost of uncertainty can be taken into account for synthesis of robust or risk-sensitive policies. The method constructs an affine feedback control law, whose gains explicitly depend upon the covariance of the estimation errors and process noise. Despite the fact that controller and observer are designed separately, the measurement noise variance enters the optimal control, therefore generating feedback laws that do not rely on the Certainty Equivalence Principle. The capabilities of the approach are illustrated in simulation on a two degree of freedom (DOF) manipulator, first in a waypoint task and then in a task where the manipulator goes in contact with its environment.

研究の動機と目的

• 非線形確率的最適制御問題において、プロセスノイズと測定ノイズの両方を考慮したフィードバック制御合成手法を開発すること。
• 期待コストのみを最小化するのではなく、コスト関数の高次モーメントを組み込むことでリスクセンシティブ制御を可能にする。
• コントローラとオブザーバが別々に設計された場合でも、確信性等価原理に依存しない制御器を設計すること。
• 環境との接触を含む不確実性を伴う挑戦的なタスクにおけるアプローチの有効性を示すこと。
• 不確実性下での局所最適なフィードバック則を合成するための計算的に扱いやすい方法を提供すること。

提案手法

• 期待コストとコストの高次モーメントに対するリスクセンシティブなペナルティを組み合わせた指数型の性能基準を採用する。
• 推定誤差の共分散とプロセスノイズの共分散に明示的に依存するアフィンフィードバック制御則を定式化する。
• 非線形システムダイナミクスの局所的近似を用いることで、最適化を扱いやすくする。
• コントローラとオブザーバの設計を分離しても、測定ノイズの分散が最適制御則に組み込まれている。
• 不確実性の伝播を考慮したフィードバックゲインを計算するためにリカッチ型方程式を用いる。
• シミュレーションにおいて2自由度のマニピュレータにアルゴリズムを適用し、ウェイポイント追従タスクおよび環境接触タスクを実行する。

実験結果

リサーチクエスチョン

• RQ1 非線形最適制御は、コスト関数の高次モーメントを考慮することで、どのようにリスクセンシティブに拡張可能か？
• RQ2 プロセスノイズと測定ノイズが存在する状況で、確信性等価原理に依存せずにフィードバック制御性能をどの程度向上できるか？
• RQ3 オブザーバとは独立に設計されたコントローラでも、測定ノイズの統計情報を効果的に活用してロバスト性を向上させられるか？
• RQ4 動的不確実性と環境相互作用を伴うタスクにおいて、提案手法はどのように性能を発揮するか？
• RQ5 性能基準に分散および高次モーメントを組み込むと、制御方策合成にどのような影響を与えるか？

主な発見

• 提案されたアルゴリズムは、プロセスノイズと推定誤差の共分散に依存するフィードバック制御則を効果的に生成し、リスクセンシティブ制御を可能にする。
• コストの高次モーメントを組み込むことで、期待コストのみを基準とする場合よりも、不確実性下での性能測定が包括的になる。
• 測定ノイズが制御則に明示的に組み込まれているため、オブザーバとコントローラが別々に設計された場合でも、確信性等価原理に依存しない。
• 2自由度マニピュレータにおけるシミュレーション結果から、ウェイポイント追従タスクおよび環境接触タスクの両方で、安定的かつロバストな性能を達成している。
• 推定誤差とプロセスノイズのコストを明示的にフィードバック方策に組み込むことで、不確実性下での制御が向上する。
• アフィンフィードバック構造により、計算が効率的かつ局所最適性が保証され、不確実な環境下でのリアルタイム応用に適している。