[論文レビュー] Algorithms for Overcoming the Curse of Dimensionality for Certain Hamilton-Jacobi Equations Arising in Control Theory and Elsewhere

Jérôme Darbon, Stanley Osher|arXiv (Cornell University)|May 6, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 7

ひとこと要約

本稿では、ホフプフォーマルダと高速な $\beta_1$-型ソルバーを用いて、最適制御および微分ゲームに生じる高次元のハミルトン＝ジャコビ＝アイザックス方程式を解くグリッドフリーで凸最適化に基づくアルゴリズムを提案する。この手法により、1点あたり $10^{-4}$ から $10^{-8}$ 秒の時間で解の評価が可能となり、多項式時間の計算量と完全な並列性を備えており、次元の呪いを克服する。

ABSTRACT

It is well known that time dependent Hamilton-Jacobi-Isaacs partial differential equations (HJ PDE), play an important role in analyzing continuous dynamic games and control theory problems. An important tool for such problems when they involve geometric motion is the level set method. This was first used for reachability problems. The cost of these algorithms, and, in fact, all PDE numerical approximations is exponential in the space dimension and time. In this work we propose and test methods for solving a large class of the HJ PDE relevant to optimal control problems without the use of grids or numerical approximations. Rather we use the classical Hopf formulas for solving initial value problems for HJ PDE. We have noticed that if the Hamiltonian is convex and positively homogeneous of degree one that very fast methods exist to solve the resulting optimization problem. This is very much related to fast methods for solving problems in compressive sensing, based on $\ell_1$ optimization. We seem to obtain methods which are polynomial in the dimension. Our algorithm is very fast, requires very low memory and is totally parallelizable. We can evaluate the solution and its gradient in very high dimensions at $10^{-4}$ to $10^{-8}$ seconds per evaluation on a laptop. We carefully explain how to compute numerically the optimal control from the numerical solution of the associated initial valued HJ-PDE for a class of optimal control problems. We show that our algorithms compute all the quantities we need to obtain easily the controller. The term curse of dimensionality, was coined by Richard Bellman in 1957 when considering problems in dynamic optimization.

研究の動機と目的

• 最適制御および微分ゲームにおける時間依存のハミルトン＝ジャコビ＝アイザックスPDEを解く際の次元の呪いを克服すること。
• 凸解析と最適化を活用して、空間次元の指数的複雑性を回避するグリッドフリーな手法を開発すること。
• 高次元の設定において、粘性解および勾配の高速で低メモリかつ高度に並列化可能な評価を可能にすること。
• HJ PDEの解から最適制御を数値的に効率的に計算する方法を提供すること。
• 高次元において、コンact凸集合の和集合への最近点を計算する高速なアルゴリズムを導入すること。

提案手法

• 粘性解をFenchel-Legendre変換を含む双対最適化問題として表現するため、ホフプフォーマルダを用いる。
• 解を $ J^*(v) + tH(v) - \langle x, v \rangle $ の最小化問題として定式化する。ここで $ J $ は凸な初期データ、$ H $ は凸かつ一次同次である。
• 圧縮センシングの高速アルゴリズム、特に $ \ell_1 $-ベースの最適化を活用して、双対問題を効率的に解く。
• BregmanおよびスプリットBregman反復法（増大ラグランジュ法およびADMMに同等）を適用し、高速収束を実現する。
• 双対最適化問題の最小化子を用いて、解の勾配を回復する。この勾配は最適制御に対応する。
• 与えられた外部点からコンパクトな凸集合の和集合への最近点を計算する高速なアルゴリズムを開発し、Dijkstra型の高速進み方法を上回る。

実験結果

リサーチクエスチョン

• RQ1 グリッドフリーで凸最適化に基づくアプローチを用いて、ハミルトン＝ジャコビPDEにおける次元の呪いを克服できるか？
• RQ2 現代の一次最適化技術を用いて、ホフプフォーマルダを高次元で効率的に実装できるか？
• RQ3 高次元空間において、1回の評価あたり $ \mathcal{O}(1) $ 時間で解とその勾配が計算可能か？
• RQ4 ホフプフォーマルダの勾配を用いて、HJ PDEの解から直接最適制御を抽出できるか？
• RQ5 従来の高速進み方法やDijkstraベースの手法よりも、凸集合の和集合への最近点問題を速く解けるか？

主な発見

• 提案手法は、高次元においてもラップトップ上で1回の評価あたり $10^{-4}$ から $10^{-8}$ 秒の時間で解とその勾配を評価可能である。
• 従来の有限差分スキームの指数的コストを避けて、次元数に対して多項式時間の計算量を達成する。
• 完全に並列化可能で、メモリ消費量も最小限であるため、大規模問題に適している。
• 解の勾配（最適制御に対応）は、双対最適化問題の最小化子から直接得られる。
• コンパクトな凸集合の和集合への最近点を計算する新しい高速アルゴリズムを構築し、標準的な高速進み方法やDijkstra型手法を上回る。
• レベルセットの時間発展および幾何学的運動問題（$ \ell_1 $ および $ \ell_2 $ ノルム下での楕円体や球の内向き移動など）に対しても、本手法は効果的に機能する。