[論文レビュー] Polynomial Approximation of Value Functions and Nonlinear Controller Design with Performance Bounds

Morgan Jones, Matthew M. Peet|arXiv (Cornell University)|Oct 14, 2020

Advanced Optimization Algorithms Research被引用数 5

ひとこと要約

本稿では、ハミルトニアン・ジャコビ・ベルマン（HJB）偏微分方程式（PDE）の多項式下位解を用いて、非線形最適制御問題の価値関数を近似するための平方和（SOS）最適化手法を提案する。本稿は、これらの多項式下位解が、多項式の次数 $d$ が増加するにつれて真の価値関数に対して $L^1$ ノルムで収束することを証明し、このような近似から得られる制御則のサブ最適性が、真の価値関数との $W^{1,\infty}$ ノルム距離によって有界であることを示す。

ABSTRACT

For any suitable Optimal Control Problem (OCP) there exists a value function, defined as the unique viscosity solution to the Hamilton-Jacobi-Bellman (HJB) Partial-Differential-Equation (PDE), and which can be used to design an optimal feedback controller for the given OCP. In this paper, we approximately solve the HJB-PDE by proposing a sequence of Sum-Of-Squares (SOS) problems, each of which yields a polynomial subsolution to the HJB-PDE. We show that the resulting sequence of polynomial sub-solutions converges to the value function of the OCP in the L1 norm. Furthermore, for each polynomial sub-solution in this sequence, we show that the associated sequence of sublevel sets converge to the sublevel set of the value function of the OCP in the volume metric. Next, for any approximate value function, obtained from an SOS program or any other method (e.g. discretization), we construct an associated feedback controller, and show that sub-optimality of this controller as applied to the OCP is bounded by the distance between the approximate and true value function of the OCP in the Sobolev norm. Finally, we demonstrate numerically that by solving our proposed SOS problem we are able to accurately approximate value functions, design controllers and estimate reachable sets.

研究の動機と目的

• 非線形最適制御問題（OCP）の価値関数を多項式下位解を用いて近似するための凸最適化フレームワークの構築。
• 多項式下位解の列が、$L^1$ ノルムにおいて真の価値関数に収束することの確立。
• これらの多項式近似の下位集合が、体積距離において真の下位集合に収束することの示唆。
• 真の価値関数との $W^{1,\infty}$ ノルム距離に基づき、近似価値関数から構築された制御則のサブ最適性の性能境界の導出。
• 数値的に、本手法が正確な価値関数近似、制御則設計、到達可能集合の推定を可能にすることの実証。

提案手法

• HJB PDEの多項式下位解を計算するための、平方和（SOS）最適化問題の系列を定式化する。
• 各多項式下位解が、不等式制約 $ \nabla_t V + \inf_{u \in U} \left\{ c(x,u,t) + \nabla_x V^T f(x,u) \right\} \leq 0 $ を満たし、終端条件 $ V(x,T) = g(x) $ を満たすように保証する。
• 多項式の次数 $d$ が増加するにつれて、多項式下位解の真の価値関数への収束を $L^1$ ノルムで測定する。
• 幾何学的および測度論的議論を用いて、多項式近似の下位集合が真の下位集合に体積距離において収束することを確立する。
• 任意の候補となる価値関数から、ハミルトニアンの下界を用いてフィードバック制御則を構築する：$ k(x,t) \in \arg\inf_{u \in U} \left\{ c(x,u,t) + \nabla_x V^T f(x,u) \right\} $。
• 近似価値関数と真の価値関数の差の $W^{1,\infty}$ ノルムを用いて、制御則のサブ最適性の性能境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 凸SOSプログラムの系列が、$L^1$ ノルムにおいて真のOCP価値関数に収束する多項式下位解を生成できるか？
• RQ2 これらの多項式下位解の下位集合は、体積距離において真の下位集合に収束するか？
• RQ3 近似価値関数から得られる制御則のサブ最適性が、真の価値関数との $W^{1,\infty}$ ノルム距離によって有界にできるか？
• RQ4 本手法は、ローレンツアトラクタのような非線形系の到達可能集合を、包含保証付きで正確に推定できるか？
• RQ5 多項式下位解の $L^1$ 収束が、到達可能集合を特徴付ける厳密な下位集合の収束を保証するか？

主な発見

• SOS最適化によって生成された多項式下位解の列は、多項式の次数 $d$ が増加するにつれて、真の価値関数に $L^1$ ノルムで収束する。
• 多項式下位解の下位集合は、$d \to \infty$ において、真の価値関数の下位集合に体積距離において収束する。
• 近似価値関数から構築された制御則のサブ最適性は、近似価値関数と真の価値関数の差の $W^{1,\infty}$ ノルムによって有界にされる。
• 数値結果では、次数 $d=10$ でSOS問題を解くことで、$0$-下位集合がローレンツアトラクタを正確に推定し、真の前方到達可能集合を含むことが示された。
• 本手法は、多項式下位解の下位集合によって真の到達可能集合が保証的に包含されることを保証しており、これは安全解析において極めて重要である。
• 反例により、$L^1$ 収束が厳密な下位集合の収束を保証しないことが示されたが、実際の応用では差が無視できるほど小さく、本手法は到達可能集合推定において依然として有効である。