[論文レビュー] Numerical Methods for Mean-Field-Type Optimal Control Problems

Laurent Pfeiffer|arXiv (Cornell University)|Mar 29, 2017

Advanced Optimization Algorithms Research参考文献 10被引用数 9

ひとこと要約

本稿では、ハミルトニアン・ジャコビ・ベルマン方程式およびフォッカー・プランク方程式に基づく前向き・後向きスキームを用いて、平均場型最適制御問題を解く2つの反復的数値手法を提案する。最初の手法は、確率測度の凸結合を活用する勾配法として機能するが、第二の手法はフィードバック制御を生成するために罰則項を組み込む。両手法ともテスト例において線形収束を示し、特に非微分可能な場合に第二の手法が優れたロバスト性を示す。

ABSTRACT

In this article, two methods for solving mean-field type optimal control problems are proposed and investigated. The two methods are iterative methods: at each iteration, a Hamilton-Jacobi-Bellman equation is solved, for a terminal condition obtained by linearizing the cost function. The terminal condition is updated by solving a Fokker-Planck equation. The first method can be seen as a gradient method and uses in an essential manner the convexity of the set of probability distributions. A convergence result for this method is provided. The second method incorporates a penalization term and provides feedback controls. We test the methods on four academic examples.

研究の動機と目的

• 最終時刻における状態の確率分布に依存するコスト関数を伴う平均場型最適制御問題に対して、効率的な数値スキームを開発すること。
• 期待値ではなく分布全体に依存するコスト関数形をモデル化することにより、リスク回避的最適化を扱うこと。
• フィードバック制御を計算できる収束性を示すアルゴリズムを提供すること。
• ワッサーシュタイン距離、標準偏差、およびリスク下での価値（CVaR）を含む学術的例に、これらの手法を適用すること。

提案手法

• 最初の手法は、到達可能集合内の確率測度の凸結合を用い、コスト関数形の最小化としてこのスキームを解釈する勾配法として機能する。
• 各反復において、後向き段階では、コスト関数形の微分から導かれる線形化された終端条件を備えたハミルトニアン・ジャコビ・ベルマン（HJB）方程式を解く。
• 前向き段階では、後向き段階で得られた制御下での確率分布を伝搬するため、フォッカー・プランク方程式を解く。
• 第二の手法では、収束を安定化させるとともにフィードバック制御を生成するために、線形化されたHJB方程式に罰則項を導入する。
• 状態変数の離散化に半ラグランジュスキームを用いることで、確率的微分方程式および関連するPDEの高精度な近似が可能になる。
• アルゴリズムは前向きおよび後向き段階を交互に繰り返し、収束するまで制御および分布を反復的に更新する。

実験結果

リサーチクエスチョン

• RQ1 確率測度の凸結合を用いることで、平均場型最適制御問題に勾配ベースの反復的手法を構築できるか？
• RQ2 HJB方程式に罰則項を組み込むことで、平均場最適制御における収束性およびフィードバック制御品質にどのような影響を与えるか？
• RQ3 コスト関数が微分可能でない場合、例えばワッサーシュタイン距離に基づく問題において、提案手法の収束挙動はいかなるものか？
• RQ4 リスク回避的コスト関数形（例：条件付きリスク下での価値や標準偏差）に適用した場合、2つの手法の性能はどのように比較できるか？
• RQ5 数値スキームが、特に結合されたHJB-フォッカー・プランク系の最適性条件の構造をどの程度保っているか？

主な発見

• 最初の手法は、最適性条件を満たす極限点に収束し、連続時間形式に対して理論的収束結果が提示されている。
• 罰則項を組み込んだ第二の手法は、フィードバック制御を生成し、ワッサーシュタイン距離の例を含む非微分可能なコスト関数を持つ場合に最初の手法を上回る性能を示す。
• 4つのテストケースすべてにおいて、両手法は線形収束を示し、コスト関数が連続的微分可能でない最初のケースを除き、基準εℓはゼロに近づく。
• 期待値および標準偏差を含むテストケースでは、最適制御は時間的に一定であり、値関数の形状と整合するバン・バン構造を示す。
• 条件付きリスク下での価値（CVaR）の例では、アルゴリズムが好都合な状態ではリスクを回避する戦略を適切に選択し、高インパクトの状況ではより積極的な制御を実行していることが示された。
• すべての例において、2つのアルゴリズム間のコスト差は微小であり、第二の手法がフィードバック制御生成という追加的利益を達成しつつ、同等の性能を発揮していることが示された。