[論文レビュー] Algorithm for Hamilton-Jacobi equations in density space via a generalized Hopf formula

Yat Tin Chow, Wuchen Li+2 more|arXiv (Cornell University)|May 4, 2018

Geometric Analysis and Curvature Flows参考文献 21被引用数 6

ひとこと要約

本稿では、最適制御問題における無限次元性の呪いを克服するため、密度空間におけるハミルトニアン・ジャコビ方程式（HJD）を解く一般化されたホフフの公式を導入する。この手法は、密度空間における最適制御問題を空間変数のみの最適化問題に再定式化することで、多層型ブロック確率的勾配降下法を用いて効率的な計算を可能にし、平均場ゲームや最適輸送問題における凸および非凸ハミルトニアンの両方に対して高精度な解を得る。

ABSTRACT

We design fast numerical methods for Hamilton-Jacobi equations in density space (HJD), which arises in optimal transport and mean field games. We overcome the curse-of-infinite-dimensionality nature of HJD by proposing a generalized Hopf formula in density space. The formula transfers optimal control problems in density space, which are constrained minimizations supported on both spatial and time variables, to optimization problems over only spatial variables. This transformation allows us to compute HJD efficiently via multi-level approaches and coordinate descent methods.

研究の動機と目的

• 最適制御問題における無限次元性の呪いに起因する、密度空間におけるハミルトニアン・ジャコビ方程式（HJD）の計算課題に対処すること。
• 無限次元問題を有限次元最適化問題に変換することで、平均場ゲームおよび最適輸送問題における値関数を効率的に計算する数値的手法を開発すること。
• 従来の手法が失敗するか計算コストが膨大になる非凸ハミルトニアンに対してもHJDを解けるようにすること。
• グラフ上の最適輸送にインspiredされた空間的離散化された双対定式化を通じて、潜在的平均場ゲームの元の双対構造を保つこと。

提案手法

• HJDを終端随伴状態（Φ）に関する上界として再定式化する一般化されたホフフの公式を提案し、時間依存性を排除することで最適化変数を空間変数のみに制限する。
• グラフ上の最適輸送の双対定式化を用いてホフフの公式を離散化し、離散的時間反転対称性を保ちつつ、元の双対構造を維持する。
• 多層型ブロック確率的勾配降下法を用いて離散化されたホフフ汎関数を最適化し、高次元設定下でも効率的な計算を実現する。
• 滑らかでないハミルトニアンの数値的計算を安定化させるために、ソフト絶対値正則化を用いる。特に保存則の定式化において有効である。
• 解を終端随伴状態Φによってパラメータ化することで、双対問題に対して一次の最適化手法を直接適用可能にする。
• 双対問題が時間変数に依存しない空間変数のみに依存することを活用し、時間-空間グリッドの全離散化に伴う指数的コストを回避する。

実験結果

リサーチクエスチョン

• RQ1 一般化されたホフフの公式は、最適化変数に時間依存性を排除することで、密度空間におけるHJDの計算複雑度を有効に低減できるか？
• RQ2 標準的な凸解析手法が失敗する非凸ハミルトニアンにおいて、提案手法はどのように性能を示すか？
• RQ3 空間変数のみの最適化定式化は、元の平均場ゲーム系の構造的安定性をどの程度保っているか？
• RQ4 本手法が現在のポテンシャルゲームに限定されているが、非ポテンシャルゲームやノイズを含む意思決定プロセスへも拡張可能か？

主な発見

• 一般化されたホフフの公式により、無限次元HJDが空間変数のみの有限次元最適化問題に変換され、計算複雑度が顕著に低減された。
• 凸および非凸ハミルトニアンの両方に対して高精度な解が得られ、特に競合するドリフトによって質量が引き裂かれるような状況でも、数値例により有効性が示された。
• ソフト絶対値正則化により、滑らかでないハミルトニアンの数値的解法が安定化され、c=20が安定かつ意味のある結果をもたらすことが示された。
• グラフ上での双対定式化を通じて、潜在的平均場ゲームの元の双対構造が保たれ、時間反転対称性と数値的一致性が確保された。
• 数値結果から、正則化に起因する小さな尾部のようなアーチファクトが存在しても、質量分布が球の境界に到達可能かどうかを正しく同定していることが分かった。
• 一次の最適化手法を用いて、U(t,ρ)の値関数が効率的に計算可能であり、複雑な力学的ダイナミクスにおいてもスケーラビリティとロバストネスを示した。