[論文レビュー] Risk Sensitive, Nonlinear Optimal Control: Iterative Linear Exponential-Quadratic Optimal Control with Gaussian Noise

Farbod Farshidian, Jonas Buchli|arXiv (Cornell University)|Dec 22, 2015

Motor Control and Adaptation参考文献 3被引用数 16

ひとこと要約

本稿では、ガウスノイズを伴う非線形系に対して、性能の高次モーメント（分散、歪度）を捉えるために指数二次コスト関数を組み込んだ、反復的リスクセンシティブ非線形最適制御手法であるILEGを提案する。リスクセンシティブパラメータσを調整することにより、正のσでは高ゲインフィードバック制御（高応答性）を、負のσではロバストなフィードフォワード計画（保守的）を生成でき、確率的不確実性下での性能とロバステネスのトレードオフを実現する。

ABSTRACT

In this contribution, we derive ILEG, an iterative algorithm to find risk sensitive solutions to nonlinear, stochastic optimal control problems. The algorithm is based on a linear quadratic approximation of an exponential risk sensitive nonlinear control problem. ILEG allows to find risk sensitive policies and thus generalizes previous algorithms to solve nonlinear optimal control based on iterative linear-quadratic methods. Depending on the setting of the parameter controlling the risk sensitivity, two different strategies on how to cope with the risk emerge. For positive-value parameters, the control policy uses high feedback gains whereas for negative-value parameters, it uses a robust feedforward control strategy (a robust plan) with low gains. These results are illustrated with a simple example. This note should be considered as a preliminary report.

研究の動機と目的

• 標準的なSLQ手法が、確信性原理に従いプロセスノイズの統計を無視するという限界を是正すること。
• リスクセンシティブ制御を用いて、性能インデックスの高次モーメント（特に分散と歪度）を組み込んだ反復的アルゴリズムの開発。
• 反復的LQ手法を、明示的なリスクセンシティブ性を有する非線形確率的最適制御問題に一般化すること。
• リスクセンシティブパラメータσが制御方策設計におけるフィードバックゲインとロバストネスの根本的トレードオフを制御することを示すこと。

提案手法

• アルゴリズムは、元の非線形確率的最適制御問題を段階的線形二次近似する。
• 各反復で、コストが二次関数の指数関数である局所的線形-指数-二次（LEG）問題を定式化する。
• リスクセンシティブパラメータσは、指数変換を通じてコスト関数内の高次モーメント（分散、歪度）の影響を制御する。
• 各LEGサブ問題の解は動的プログラミングを用いて計算され、線形系における指数二次コストの解析解を活用する。
• アルゴリズムは、これらのLEGサブ問題を繰り返し解くことで、制御方策と状態軌道を反復的に更新し、収束まで繰り返す。
• 標準的なSLQはσ ≠ 0を許容する一般化であり、σ = 0のときには従来のSLQ解が回復される。

実験結果

リサーチクエスチョン

• RQ1 反復的LQ手法は、非線形確率的系におけるリスクセンシティブ制御をどのように拡張できるか？
• RQ2 リスクセンシティブパラメータσは、不確実性下での制御方策行動にどのように寄与するか？
• RQ3 標準的なSLQと比較して、提案されたILEGアルゴリズムは、フィードバックゲインとロバストネスの観点でどのように異なるか？
• RQ4 σの値を変化させた場合のILEGの安定性および収束特性はいかなるものか？
• RQ5 σの符号と大きさに応じて、ILEGは剛性のあるフィードバックとロバストなフィードフォワードといった、本質的に異なる制御戦略を生成できるか？

主な発見

• 正のσ値では、分散を低減するために高ゲインフィードバックが使用され、剛性があり反応の速い制御方策が得られる。
• 負のσ値では、ゲインが低く抑えられ、ロバストなフィードフォワード計画が重視され、より安全で保守的な軌道が得られる。
• 連続的 Cliff World 例では数反復で収束を示し、計算効率が優れていることが確認された。
• テスト例ではσの上限が50である。これ以上になると制御系が不安定化するため、リスクセンシティブチューニングに重要な制約があることが示された。
• 負のσでは、システムの不確実性が高いため、経路のばらつき（誤差帯）が広がるが、正のσではより狭く、正確な経路が得られる。
• σ = 0のとき、ILEGアルゴリズムは標準的なSLQに還元され、従来手法との整合性が確認された。