[論文レビュー] Deep Learning for Mean Field Optimal Transport

Sebastian Baudelet, Brieuc Frénais+3 more|arXiv (Cornell University)|Feb 28, 2023

Climate Change Policy and EconomicsEconomics, Econometrics and Finance被引用数 3

ひとこと要約

本稿では、所定の終端分布に到達するように協力的に社会的コストを最小化するエージェントを想定した平均場最適輸送（MFOT）問題を解くための、3つの深層学習ベースの数値的手法を提案する。これらの手法は、ニューラルネットワークを用いて最適制御を学習したり、前向き・後向きPDE系を解いたり、拡張ラグランジュのプリマル・デュアルフレームワークを用いたりする。線形二次（LQ）および混雑モデル化のテストケースにおいて、高い精度の解を得ることを示した。

ABSTRACT

Mean field control (MFC) problems have been introduced to study social optima in very large populations of strategic agents. The main idea is to consider an infinite population and to simplify the analysis by using a mean field approximation. These problems can also be viewed as optimal control problems for McKean-Vlasov dynamics. They have found applications in a wide range of fields, from economics and finance to social sciences and engineering. Usually, the goal for the agents is to minimize a total cost which consists in the integral of a running cost plus a terminal cost. In this work, we consider MFC problems in which there is no terminal cost but, instead, the terminal distribution is prescribed. We call such problems mean field optimal transport problems since they can be viewed as a generalization of classical optimal transport problems when mean field interactions occur in the dynamics or the running cost function. We propose three numerical methods based on neural networks. The first one is based on directly learning an optimal control. The second one amounts to solve a forward-backward PDE system characterizing the solution. The third one relies on a primal-dual approach. We illustrate these methods with numerical experiments conducted on two families of examples.

研究の動機と目的

• 終端コストを最小化するのではなく、所定の終端分布が固定された平均場最適輸送問題に取り組む。
• Schrödingerブリッジや標準的なMFG/MFC設定を超えて一般化可能な、深層学習に基づくMFOT問題の数値的手法を開発する。
• 複雑な平均場相互作用や非自明な力学的ダイナミクスを扱えるように、従来手法の限界を克服する。
• 高次元設定において最適制御および密度を近似するために、ニューラルネットワークを用いたスケーラブルで微分可能なアプローチを提供する。
• ペナルティ項、PDE制約、拡張ラグランジュ形式を含む損失ベースの学習によって収束性と精度を保証する。

提案手法

• 手法1は、深層強化学習に類似したアプローチを採用：ニューラルネットワークがMcKean-Vlasovスデのモンテカルロロールアウトを通じて最適制御方策を学習し、終端分布のずれに対してペナルティを課す。
• 手法2は、MFOT問題の最適性条件から導かれる前向き・後向きPDE系の解を、深層ニューラルネットワークを用いて直接近似する。
• 手法3は、終端分布制約をプリマル・デュアル最適化スキームにより強制する拡張ラグランジュ形式を採用し、価値関数、密度、ラグランジュ乗数それぞれに別個のネットワークを割り当てる。
• すべての手法は、残差接続、ReLUまたはシグモイド活性化関数を用いた全結合フィードフォワードニューラルネットワークであり、ミニバッチサンプリングを用いた確率的勾配降下法で学習される。
• 収束性と安定性を確保するため、ペナルティ重み $ C_W $、$ C_0^{(KFP)} $、$ C_T^{(KFP)} $、$ C^{(KFP)} $、$ C^{(HJB)} $、および拡張ラグランジュにおける $ r $ といったハイパーパrameterは、経験的に調整される。
• LQ問題の場合は、制御ネットワーク出力に追加の二次補正項を追加することで、精度を向上させ、解析解と一致させる。

Figure 1 : Evolution of the density in the LQ Test case 1. Each plot corresponds to one time step and displays the densities as functions of the space variable, $\textstyle x$ . The densities are: The density obtained by applying the control learnt by each of the three deep learning methods as well

実験結果

リサーチクエスチョン

• RQ1 深層学習は、終端コストがなく、終端分布が所定に固定された平均場最適輸送問題を効果的に解けるか？
• RQ2 異なるニューラルネットワークアーキテクチャと損失形式は、MFOT問題における収束性と精度の観点でどのように比較できるか？
• RQ3 提案手法は、混雑効果を含む非線形ダイナミクスや複雑な平均場相互作用を扱えるか？
• RQ4 ペナルティ重みや拡張ラグランジュパラメータ $ r $ といったハイパーパrameterの影響は、学習の安定性と性能にどのように現れるか？
• RQ5 深層学習ベースの手法は、Schrödingerブリッジや線形二次ケースを越えて、どの程度一般化可能か？

主な発見

• 提案された3つの手法は、線形二次（LQ）テストケースにおいて解析解と高い精度で一致し、収束性と頑健性を示した。
• 手法1は、ペナルティ関数 $ C_W $ を状態次元と計算コストに応じて調整することで、最適制御方策を効果的に学習した。
• 手法2は、初期条件、終端条件、PDE制約を強制する損失項を用いて、深層ニューラルネットワークで前向き・後向きPDE系を効果的に解いた。
• 拡張ラグランジュアプローチを用いた手法3は、$ r = 0.1 $ で安定した収束を示し、ラグランジュ乗数ネットワークにシグモイド活性化関数を用いることで密度推定値が有界になることを確認した。
• すべての手法が、混雑効果を含む非自明な平均場相互作用を効果的に処理でき、混雑テストケースでその有効性が実証された。
• 数値実験により、ハイパーパrameterの慎重な調整とミニバッチサンプリングによって学習が安定化され、高次元設定でもスケーラブルかつ効果的であることが確認された。

Figure 2 : Evolution of the control in the LQ Test case 1. Each plot corresponds to one time step and displays the controls as functions of the space variable, $\textstyle x$ . The controls are: The control learnt by each of the three deep learning methods as well as the ground-truth control given b