[论文解读] Control on Hilbert Spaces and Application to Mean Field Type Control Theory

Alain Bensoussan, P. Jameson Graber+1 more|arXiv (Cornell University)|May 21, 2020

Stochastic processes and financial applications被引用 7

一句话总结

本文提出了一种基于希尔伯特空间的新方法，通过将问题提升至类似于 Wasserstein 空间切空间的无穷维空间，来求解均场类型控制问题。在该结构上应用经典控制理论，作者建立了一个简化贝尔曼方程与主方程分析的框架，恢复了经典解，同时在保持 Lions 提升方法优势的基础上降低了复杂度。

ABSTRACT

We propose a new approach to studying classical solutions of the Bellman equation and Master equation for mean field type control problems, using a novel form of the lifting idea introduced by P.-L. Lions. Rather than studying the usual system of Hamilton-Jacobi/Fokker-Planck PDEs using analytic techniques, we instead study a stochastic control problem on a specially constructed Hilbert space, which is reminiscent of a tangent space on the Wasserstein space in optimal transport. On this Hilbert space we can use classical control theory techniques, despite the fact that it is infinite dimensional. A consequence of our construction is that the mean field type control problem appears as a special case. Thus we preserve the advantages of the lifiting procedure, while removing some of the difficulties. Our approach extends previous work by two of the coauthors, which dealt with a deterministic control problem for which the Hilbert space could be generic.

研究动机与目标

• 开发一种利用希尔伯特空间技术分析均场类型控制问题的新框架。
• 克服传统分析方法在均场控制中对哈密顿-雅可比/福克-普朗克系统分析的局限性。
• 将先前基于提升的方法扩展至随机设置，同时保持提升过程的优势。
• 证明均场控制问题可自然地作为所提出希尔伯特空间表述中的特例出现。

提出的方法

• 作者构建了一个特别设计的希尔伯特空间，其结构类似于最优传输中 Wasserstein 空间切空间的结构。
• 他们将均场控制问题重新表述为在该无穷维希尔伯特空间上的随机控制问题。
• 尽管具有无穷维性，仍直接在希尔伯特空间上应用经典控制理论技术。
• 该提升过程源自 P.-L. Lions 的框架，但已扩展至随机设置。
• 该方法通过将问题嵌入一个适合标准控制工具的几何结构中，避免了对耦合PDE系统进行直接分析。
• 该方法保持了提升技术的优势（如简化非线性相互作用），同时降低了技术挑战。

实验结果

研究问题

• RQ1 如何在不依赖传统PDE技术的情况下分析均场类型控制的贝尔曼方程与主方程？
• RQ2 能否构建一个希尔伯特空间框架，使得均场控制问题成为无穷维空间上经典控制的特例？
• RQ3 在均场控制理论中，使用类似切空间的希尔伯特空间具有哪些结构优势？
• RQ4 与现有方法相比，所提出的提升方法在分析上如何实现简化？
• RQ5 随机设置如何影响提升过程的适用性与结构？

主要发现

• 所提出的希尔伯特空间表述使得经典控制理论技术能够应用于无穷维空间中的均场类型控制问题。
• 证明了均场控制问题在新框架中自然地作为特例出现，同时保留了提升方法的几何直觉。
• 该方法避免了直接求解耦合的哈密顿-雅可比/福克-普朗克PDE系统所带来的分析困难。
• 该提升构造在保持Lions原始方法优势的同时，将其扩展至随机设置。
• 该框架提供了一个统一的视角，简化了对贝尔曼方程与主方程经典解的研究。
• 该方法通过几何与泛函分析工具，实现了对均场控制问题更系统化且可处理的分析。