[論文レビュー] Convergence of the solutions of the discounted Hamilton-Jacobi equation: a counterexample

Bruno Ziliotto|arXiv (Cornell University)|Jan 18, 2018

Quantum chaos and dynamical systems参考文献 12被引用数 17

ひとこと要約

この論文は、ハミルトニアンが連続的かつ強制的であっても、割引係数が0に近づく際、割引付きハミルトン・ジャコビ方程式の解が一様に収束するという予想に対して反例を構成している。特定の作用集合と遷移規則を持つ1次元の確率ゲームを用いて、正規化された値関数 $ u_ frac{\lambda}{\lambda} = v_\lambda + c(H)/\lambda $ が、ある系列 $ \lambda_n \to 0 $ 沿って収束しないことを示し、非凸なハミルトニアン下での粘性解理論における未解決問題を解決している。

ABSTRACT

This paper provides a counterexample about the asymptotic behavior of the solutions of a discounted Hamilton-Jacobi equation, as the discount factor vanishes. The Hamiltonian of the equation is a 1-dimensional continuous and coercive Hamiltonian.

研究の動機と目的

• 割引係数 $ \lambda \to 0 $ の際に、ハミルトニアンの運動量に関する凸性を仮定しないで、正規化された解 $ u_\lambda $ が一様収束するかどうかという未解決問題を解明すること。
• ハミルトニアンの運動量に関する凸性を仮定しない連続的かつ強制的な1次元ハミルトニアンを構成し、その上で $ u_\lambda $ が特定の割引係数の収束系列に沿って収束しないことを示すこと。
• ハミルトニアン・ジャコビ方程式の解の漸近的挙動と、情報が不完全な確率ゲームにおける極限値との間に関係を確立すること。
• 凸性仮定の下で知られている収束結果が、一般の連続的かつ強制的なハミルトニアンにまで拡張されないことを示すこと。

提案手法

• プレイヤー1が2値の作用 $ \{0,1\} $ を持ち、プレイヤー2が $ J = \{2 - \sqrt{2} + 2^{-2n} \}_{n \geq 1} \cup \{2 - \sqrt{2}\} $ という可算集合を持つ非対称作用集合を持つ2状態の確率ゲーム $ \Gamma $ を構築する。
• 遷移関数および報酬関数を定義し、ゲームのダイナミクスと期待報酬が作用の積に依存するようにすることで、非凸な構造を生み出す。
• 割引付き確率ゲームの価値関数 $ \gamma_\lambda $ を用いて、離散近似により対応するハミルトニアンを構成する。
• 割引付きHJ方程式を満たす $ v_\lambda $ を用いて、正規化された解 $ u_\lambda = v_\lambda + c(H)/\lambda $ を定義する。
• 2つの系列 $ \lambda_n = \frac{2^{-2n}}{3/4 - \sqrt{2}} $ および $ \mu_n = \frac{2^{-2n-1}}{3/4 - \sqrt{2}} $ 沿って $ \gamma_\lambda $ の漸近的挙動を解析し、異なる極限値を示す。
• プレイヤー2の戦略に関する $ \gamma_\lambda(y,z) $ の下界が、$ \lambda_n $ と $ \mu_n $ 沿って異なる極限値に収束することを証明し、$ u_\lambda $ の収束しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 運動量に関する凸性を仮定しない連続的かつ強制的なハミルトニアンに対して、割引付きハミルトニアン・ジャコビ方程式の正規化解 $ u_\lambda $ は $ \lambda \to 0 $ の際に一様収束するか？
• RQ2 非凸性の下で $ u_\lambda $ の収束が成立しないことを示すために、確率ゲーム理論を用いた反例を構成できるか？
• RQ3 情報が不完全な確率ゲームの価値関数は、$ \lambda_n \to 0 $ となる系列において収束しない場合があるか？
• RQ4 1人のプレイヤーが稠密な作用集合を持ち、もう1人が2値作用を持つ1次元確率ゲームにおいて、価値関数の漸近的挙動はいかなるものか？

主な発見

• 連続的かつ強制的な1次元ハミルトニアンに対し、正規化解 $ u_\lambda $ は $ \lambda \to 0 $ の際に収束しないことが示され、長年の予想に対する反例が得られた。
• 系列 $ \lambda_n = \frac{2^{-2n}}{3/4 - \sqrt{2}} $ 沿って、プレイヤー2の戦略に関する $ \gamma_{\lambda_n}(y,z) $ の下界は $ \frac{1}{\sqrt{2}} \approx 0.707 $ に収束する。
• 系列 $ \mu_n = \frac{2^{-2n-1}}{3/4 - \sqrt{2}} $ 沿って、下界は $ \frac{5}{2\sqrt{2}} - 1 \approx 0.0607 $ に収束するが、これは $ \frac{1}{\sqrt{2}} $ よりも厳密に大きい。
• $ \lambda_n $ と $ \mu_n $ 沿って異なる極限値を取ることから、$ u_\lambda $ は $ \lambda \to 0 $ の際に一様収束しないことが示され、ハミルトニアンが連続的かつ強制的であっても成り立たない。
• 反例は、プレイヤー2の作用集合が $ 2 - \sqrt{2} $ の周辺で稠密である情報が不完全な確率ゲームを介して構成されており、価値関数における振動的挙動を可能としている。
• この結果により、凸性の下で成立する $ u_\lambda $ の収束は、連続的かつ強制的なハミルトニアンの一般的性質ではなく、凸性が一様収束を保証するための必要条件であることが示された。