[論文レビュー] Risk Sensitive Path Integral Control

Bart van den Broek, Wim Wiegerinck+1 more|arXiv (Cornell University)|Mar 15, 2012

Robotic Path Planning Algorithms参考文献 16被引用数 36

ひとこと要約

本論文は、コストの到着コストに指数的重みをかけることで、リスク感受性の高い確率的最適制御への経路積分制御の拡張を試み、感受性パラメータに応じてリスク回避的またはリスク求心的な行動を可能にしている。この手法は、線形二次のケースを超える非線形システムへと既存の経路積分アプローチを一般化し、マルチモーダル制御とリスク感受性の間の複雑な相互作用を示している。

ABSTRACT

Recently path integral methods have been developed for stochastic optimal control for a wide class of models with non-linear dynamics in continuous space-time. Path integral methods find the control that minimizes the expected cost-to-go. In this paper we show that under the same assumptions, path integral methods generalize directly to risk sensitive stochastic optimal control. Here the method minimizes in expectation an exponentially weighted cost-to-go. Depending on the exponential weight, risk seeking or risk averse behaviour is obtained. We demonstrate the approach on risk sensitive stochastic optimal control problems beyond the linear-quadratic case, showing the intricate interaction of multi-modal control with risk sensitivity.

研究の動機と目的

• 非線形ダイナミクス下でのリスク感受性確率的最適制御への経路積分制御手法の拡張を目的とする。
• 到着コストの指数的重み付けを通じて、リスク感受性（リスク回避的またはリスク求心的）を反映する制御方策を可能にする。
• 線形二次フレームワークを超える問題において、リスク感受性とマルチモーダル制御の非自明な相互作用を示すことを目的とする。
• 連続的空間時間におけるリスク感受性制御の理論的裏付けと計算上的実行可能性を両立するアプローチを提供することを目的とする。

提案手法

• リスク感受性制御を、到着コストの指数的モーメントの最小化として定式化し、リスク感受性パラメータを用いてリスク感受性を制御する。
• リスク感受性コストに経路積分形式を適用し、Feynman-Kacの公式を用いて解を確率過程の期待値として表現する。
• 変分原理を用いて制御方策を導出し、経路に関する条件付き期待値を含む閉形式の式を得る。
• 経路積分の近似として確率的経路のモンテカルロサンプリングを用いることで、計算の実行可能性を維持する。
• 非線形かつマルチモーダルな制御問題にこの手法を適用し、リスク感受性が方策選択に与える影響を示す。
• ベンチマーク問題を用いてフレームワークを検証し、リスク感受性が特徴的な異なる制御行動を引き起こす非線形系においても有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 非線形ダイナミクス下でも、経路積分制御はリスク感受性最適制御に一般化可能か？
• RQ2 マルチモーダル制御問題において、リスク感受性は方策選択にどのように影響を与えるか？
• RQ3 リスク感受性パラメータは、リスク回避的またはリスク求心的行動をどのように規定するか？
• RQ4 リスク感受性設定下でも、経路積分手法は計算上の実行可能性をどのように維持するか？
• RQ5 リスク感受性を導入した場合、制御方策に現れる定性的および定量的差異は何か？

主な発見

• 元の手法と同様の仮定のもとで、経路積分制御フレームワークはリスク感受性制御へ直接一般化可能である。
• リスク感受性パラメータは、リスク回避とリスク求心のトレードオフを制御し、高い値ではより保守的な方策が得られる。
• 非線形かつマルチモーダルなシステムでは、リスク感受性が高コスト・高リスクの経路を避ける特徴的な方策構造を生み出す。
• 線形二次クラスを超える問題に対しても、本手法は効果的に機能し、頑健性と柔軟性を示している。
• 確率的経路のモンテカルロサンプリングにより、効率的な計算が可能となり、スケーラビリティが維持される。
• フレームワークは、マルチモーダル制御とリスク感受性の複雑な相互作用を明らかにしたが、これは標準的な期待コスト最小化では捉えきれない。