[論文レビュー] Data-Driven Chance Constrained Control using Kernel Distribution Embeddings

Adam J. Thorpe, Thomas Lew+2 more|arXiv (Cornell University)|Feb 8, 2022

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、カーネル分布埋め込みを用いて、システムの動的特性や不確実性分布の形式を仮定せずに、データ駆動型の方法により連合確率制約付き最適制御問題を解く手法を提案する。状態軌道分布を再生核ヒルベルト空間（RKHS）に埋め込むことで、制御パラメータに関する取り扱いやすい線形計画問題に問題を再定式化し、非線形で非マルコフ的であるが非凸制約を伴うシステムに対しても、モデルフリーかつ効率的な確率的制御方策の計算が可能になる。シミュレーションでは、非線形・非マルコフ的システムに適用し、良好な性能を示した。

ABSTRACT

We present a data-driven algorithm for efficiently computing stochastic control policies for general joint chance constrained optimal control problems. Our approach leverages the theory of kernel distribution embeddings, which allows representing expectation operators as inner products in a reproducing kernel Hilbert space. This framework enables approximately reformulating the original problem using a dataset of observed trajectories from the system without imposing prior assumptions on the parameterization of the system dynamics or the structure of the uncertainty. By optimizing over a finite subset of stochastic open-loop control trajectories, we relax the original problem to a linear program over the control parameters that can be efficiently solved using standard convex optimization techniques. We demonstrate our proposed approach in simulation on a system with nonlinear non-Markovian dynamics navigating in a cluttered environment.

研究の動機と目的

• 一般の連合確率制約付き最適制御問題に対して、データ駆動型の制御手法を開発し、効率的に確率的方策を計算すること。
• システムの動的特性や不確実性分布のパrametricモデルへの依存を排除すること。
• 非マルコフ的かつ非線形なシステムにおいても、不確実性下での全軌道にわたる制約の満たし方を可能にすること。
• 制御パラメータに関する線形計画問題への凸緩和を介して、計算効率の良い解法を提供すること。
• 非線形で非マルコフ的かつ非凸制約を伴う動的障害物を有する挑戦的なシステムに対して、本手法を実証すること。

提案手法

• 本手法は、状態軌道分布を再生核ヒルベルト空間（RKHS）に属する要素として表現するカーネル分布埋め込みを用い、システムの確率的ダイナミクスを非パrametricに表現可能にする。
• 観測された軌道データセットを用いて真の分布埋め込みを近似し、ダイナミクスや不確実性の形式に関する仮定を避ける。
• 連合確率制約は、期待値演算子をRKHS内での内積として表現することで再定式化され、取り扱いやすい近似が可能になる。
• 元の計算不能な確率的最適制御問題は、制御パラメータに関する線形計画問題に緩和され、標準的な凸最適化手法で解ける。
• 本手法は、不確実性下での安全性と性能のバランスをとった確率的オープンループ制御戦略を計算する。
• 有限個の確率的オープンループ軌道の集合を最適化することで、真の解を近似し、計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックなシステムのダイナミクスや不確実性分布の形式を仮定せずに、データ駆動型アプローチが連合確率制約付き問題の確率的制御方策を計算可能かどうか。
• RQ2 観測データから状態軌道の分布をどのように近似できるか。その近似が、効率的な最適化を可能にする仕組みは何か。
• RQ3 得られた制御パラメータに関する線形計画問題が、非線形・非マルコフ的システムに非凸制約を伴う場合に、どれほど安全かつ実行可能な制御を達成できるか。
• RQ4 ボールの不等式のような保守的な緩和やモデルベースの近似に依存する従来手法と比較して、本手法はどのように優位性を示すか。
• RQ5 本手法は、データ収集を通じてより良いカーネル関数を学習したり、埋め込みの精度を向上させたりするために拡張可能か。

主な発見

• 提案手法は、所望のレベルで連合確率制約を満たす混合確率的制御方策を効果的に計算した。シミュレーションでは95%の軌道が障害物を回避し、目的地点に到達した。
• δ = 0.05の場合、アルゴリズムはより安全なコロシアム経路を優先する制御入力を選択し、δを増加させると危険性の高い中央コロシアムをより積極的に通過する選択がなされる。これは期待通りの結果であった。
• 線形ダイナミクスを仮定するOno（2016）のベースライン手法と比較すると、同じ非線形システムに適用した場合、制約違反率を10.2%からほぼゼロにまで低減した。
• 問題が線形計画問題に緩和されることで、高い確率で制約を満たしつつ、計算効率を維持した。
• 非マルコフ的かつ非線形ダイナミクスに対しても本手法は頑健であり、線形性やマルコフ性を仮定するモデルベース手法を上回る性能を示した。
• 結果から、カーネル分布埋め込みが複雑な軌道分布をモデルフリーで高精度に近似可能であり、不確実性下での安全な制御を可能にすることが確認された。