[論文レビュー] Control on Hilbert Spaces and Application to Mean Field Type Control Theory

Alain Bensoussan, P. Jameson Graber+1 more|arXiv (Cornell University)|May 21, 2020

Stochastic processes and financial applications被引用数 7

ひとこと要約

この論文は、最適輸送におけるWasserstein空間の接空間に類似した無限次元空間に問題をアップリフトすることで、平均場型制御問題を解くための新しいヒルベルト空間に基づくアプローチを提案する。この構造上で古典的制御理論を適用することで、ベルマン方程式およびマスタ方程式の解析を単純化するフレームワークを確立し、複雑さを低減しつつリーマンのアップリフト法の利点を保持する。

ABSTRACT

We propose a new approach to studying classical solutions of the Bellman equation and Master equation for mean field type control problems, using a novel form of the lifting idea introduced by P.-L. Lions. Rather than studying the usual system of Hamilton-Jacobi/Fokker-Planck PDEs using analytic techniques, we instead study a stochastic control problem on a specially constructed Hilbert space, which is reminiscent of a tangent space on the Wasserstein space in optimal transport. On this Hilbert space we can use classical control theory techniques, despite the fact that it is infinite dimensional. A consequence of our construction is that the mean field type control problem appears as a special case. Thus we preserve the advantages of the lifiting procedure, while removing some of the difficulties. Our approach extends previous work by two of the coauthors, which dealt with a deterministic control problem for which the Hilbert space could be generic.

研究の動機と目的

• ヒルベルト空間技術を用いて、平均場型制御問題を分析するための新しいフレームワークを開発すること。
• 平均場制御におけるハミルトニアン・ジャコビ/フォッカー・プランク系に対して従来の解析的手法に制限を受ける問題を克服すること。
• 従来のアップリフトに基づくアプローチを確率的設定に拡張しつつ、アップリフト手順の利点を維持すること。
• 平均場制御問題が提示されたヒルベルト空間定式化の特別な場合として自然に現れることが示されること。

提案手法

• 最適輸送におけるWasserstein空間の接空間の構造を模倣する特別に設計されたヒルベルト空間を構築する。
• 平均場制御問題を、この無限次元ヒルベルト空間上での確率的制御問題に再定式化する。
• 無限次元性にもかかわらず、ヒルベルト空間上で直接古典的制御理論の技法を適用する。
• アップリフト手順はP.-L. リーマンの枠組みから採用されているが、確率的設定に拡張されている。
• 問題を幾何的構造に埋め込むことで、直接結合された偏微分方程式系の解析を回避する。この構造は標準的な制御ツールに適している。
• アップリフトによる利点（非線形相互作用の単純化など）を維持しながら、技術的課題を低減する。

実験結果

リサーチクエスチョン

• RQ1 ベルマン方程式およびマスタ方程式の平均場型制御問題を、従来の偏微分方程式技法に依存せずに解析するにはどうすればよいか？
• RQ2 平均場制御問題が無限次元空間上の古典的制御の特別な場合として自然に現れるようなヒルベルト空間フレームワークを構築できるか？
• RQ3 平均場制御理論において、接空間に類似したヒルベルト空間を用いることで得られる構造的利点は何か？
• RQ4 提案されたアップリフト法は、既存のアプローチと比較して解析をどのように簡素化するか？
• RQ5 確率的設定は、アップリフト手順の適用性および構造にどのような影響を与えるか？

主な発見

• 提案されたヒルベルト空間定式化により、無限次元空間であっても古典的制御理論の技法を平均場型制御問題に適用可能になる。
• 平均場制御問題が新しいフレームワーク内において自然に特別な場合として現れることを示した。リーマンのアップリフト法の幾何的直感を保持している。
• 結合されたハミルトニアン・ジャコビ/フォッカー・プランク偏微分方程式系を直接解析する際の解析的困難さを回避した。
• アップリフト構成はリーマンの元来の手法の利点を維持しながら、確率的設定へと拡張された。
• ベルマン方程式およびマスタ方程式の古典的解の研究を統一的かつ簡素化する視点を提供した。
• 幾何学的および関数解析的ツールを用いることで、平均場制御問題のより体系的かつ取り扱いやすい解析が可能になった。