[論文レビュー] Algorithm for Overcoming the Curse of Dimensionality for State-dependent Hamilton-Jacobi equations

Yat Tin Chow, Jérôme Darbon+2 more|arXiv (Cornell University)|Apr 8, 2017

Advanced Optimization Algorithms Research参考文献 29被引用数 7

ひとこと要約

本稿では、一般化されたラクス型最小化とホフ型最大化原理を活用して、状態依存型ハミルトニアン・ジャコビ（HJ）偏微分方程式における次元の呪いを克服するための新規アルゴリズムを提案する。解を単一のベクトル上の有限次元最適化問題に再定式化することで、非凸なHJ偏微分方程式に対してもスケーラブルで、並列性の高い計算が可能となり、7次元までにわたる数値実験により、実行時間と収束性の両面で妥当な性能を示した。また、複数の初期推定値とグローバル最適性の証明書を用いることで、局所最適解への収束に対する耐性を確保した。

ABSTRACT

In this paper, we develop algorithms to overcome the curse of dimensionality in possibly non-convex state-dependent Hamilton-Jacobi equations (HJ PDEs) arising from optimal control and differential game problems. The subproblems are independent and can be implemented in an embarrassingly parallel fashion. This is an ideal setup for perfect scaling in parallel computing. The algorithm is proposed to overcome the curse of dimensionality [1, 2] when solving HJ PDE. The major contribution of the paper is to change an optimization problem over a space of curves to an optimization problem of a single vector, which goes beyond [23]. We extend [5, 6, 8], and conjecture a (Lax-type) minimization principle when the Hamiltonian is convex, as well as a (Hopf-type) maximization principle when the Hamiltonian is non-convex. The conjectured Hopf-type maximization principle is a generalization of the well-known Hopf formula [11, 16, 30]. We validated formula under restricted assumptions, and bring our readers to [57] which validates that our conjectures in a more general setting after a previous version of our paper. We conjectured the weakest assumption is a psuedoconvexity assumption similar to [46]. The optimization problems are of the same dimension as that of the HJ PDE. We suggest a coordinate descent method for the minimization procedure in the generalized Lax/Hopf formula, and numerical differentiation is used to compute the derivatives. This method is preferable since the evaluation of the function value itself requires some computational effort, especially when we handle high dimensional optimization problem. The use of multiple initial guesses and a certificate of correctness are suggested to overcome possibly multiple local extrema since the optimization process is no longer convex. Our method is expected to have application in control theory and differential game problems, and elsewhere.

研究の動機と目的

• 最適制御および微分ゲームに生じる状態依存型ハミルトニアン・ジャコビ（HJ）偏微分方程式における次元の呪いを克服すること。
• グリッドベースの離散化を回避し、高次元における計算コストを低減する、スケーラブルで並列処理可能なアルゴリズムの開発。
• 古典的ラクスおよびホフの公式を、非凸かつ状態依存型ハミルトニアンへ一般化するための、仮定された最小化および最大化原理の導出。
• 複数のランダム初期推定値と、計算された解のグローバル最適性を保証する証明書を用いて、非凸最適化における局所最適解への収束に対する耐性を確保すること。
• 7次元までの問題に対して本手法を数値的に検証し、Lax-Friedrichsスキームなどの従来手法と比較して、精度と効率性の両面で優れた性能を示すこと。

提案手法

• 状態依存型HJ偏微分方程式の解を、空間グリッドを必要としない単一のベクトル上の有限次元最適化問題に再定式化する。
• 凸ハミルトニアンに対しては一般化されたラクス型最小化原理を、非凸ケースに対しては仮定されたホフ型最大化原理を用いる。
• 座標降下法と数値微分を組み合わせて関数評価回数を削減し、高次元における計算オーバーヘッドを低減する。
• 最適化関数内での時間積分には数値積分法、双曲的特徴線（bi-characteristics）には数値常微分方程式（ODE）ソルバを用いる。
• 計算された最小値のグローバル最適性を検証する証明書を導入し、局所最適解を同定・除外し、新たなランダム初期推定値で再初期化する。
• 部分問題が完全に分離可能であるため、並列処理が容易であり、高性能コンピューティングアーキテクチャに最適である。

実験結果

リサーチクエスチョン

• RQ1 状態依存型HJ偏微分方程式における次元の呪いは、PDEの解を有限次元最適化問題に変換することで克服可能か？
• RQ2 一般化されたホフ型最大化原理は、非凸かつ状態依存型ハミルトニアンへ古典的ホフ公式を拡張可能か？
• RQ3 提案手法は、複数の局所最適解を有する高次元非凸HJ偏微分方程式に対し、どの程度有効に機能するか？
• RQ4 空間離散化を行わない状況下でも、ODEソルバ、積分法、微分法に起因する数値誤差は効果的に制御可能か？
• RQ5 複数の初期推定値と正しさの証明書の使用が、グローバル解への収束性をどの程度向上させるか？

主な発見

• 本アルゴリズムは、7次元までの非凸かつ状態依存型HJ偏微分方程式に対し、計算コストを妥当に保ちながら解を効率的に計算可能であり、7次元では1点あたり約0.54秒の実行時間を達成した。
• 高非凸性を示す2次元非凸例において、局所最適解や勾配の谷に起因する波面のわずかな欠損が観察され、関数的地形への感受性が示された。
• ランダム初期推定値を用いた座標降下法は、長く浅い勾配の谷に起因して頻繁に局所最適解に収束する傾向にあり、より高度な最適化手法の導入が不可欠であることが示された。
• 提案された最大化原理を用いて得られた解は、ベンチマークケースにおいて理論的仮定が完全に満たされていなくても、Lax-Friedrichsスキームとよく一致した。
• 正しさの証明書の使用により、非グローバル最小解の同定と除外が効果的に実現され、非凸設定における信頼性が向上した。
• 本手法はスケーラビリティと並列性を示しており、次元に応じた計算時間の良好なスケーリングが確認された。これは、高次元の制御およびゲーム理論的問題への応用可能性を示唆している。