[論文レビュー] Subdifferentials of Nonconvex Integral Functionals in Banach Spaces with Applications to Stochastic Dynamic Programming

Boris S. Mordukhovich, Nobusumi Sagara|arXiv (Cornell University)|Aug 10, 2015

Optimization and Variational Analysis参考文献 19被引用数 15

ひとこと要約

本稿では、一般のバナッハ空間における非凸積分汎関数のための滑らかでない微積分を、ゲルファンド積分の部分微分写像に対する部分微分則を確立することによって開発する。飽和性とライアプノフ型定理を活用して、閉包操作を排除する。主な貢献は、弱凸性や可分性の仮定なしに、無限時間枠の確率的動的計画法における必要最適性条件を可能にする一般化されたライプニッツ則を用いた制限部分微分の導出である。

ABSTRACT

The paper concerns the investigation of nonconvex and nondifferentiable integral functionals on general Banach spaces, which may not be reflexive and/or separable. Considering two major subdifferentials of variational analysis, we derive nonsmooth versions of the Leibniz rule on subdifferentiation under the integral sign, where the integral of the subdifferential set-valued mappings generated by Lipschitzian integrands is understood in the Gelfand sense. Besides examining integration over complete measure spaces and also over those with nonatomic measures, our special attention is drawn to a stronger version of measure nonatomicity, known as saturation, to invoke the recent results of the Lyapunov convexity theorem type for the Gelfand integral of the subdifferential mappings. The main results are applied to the subdifferential study of the optimal value functions and deriving the corresponding necessary optimality conditions in nonconvex problems of stochastic dynamic programming with discrete time on the infinite horizon.

研究の動機と目的

• 一般のバナッハ空間における非凸的・非微分可能な設定に、積分汎関数の古典的ライプニッツ型部分微分則を拡張すること。
• ゲルファンド積分のための飽和性およびライアプノフの凸性定理を活用して、部分微分包含におけるノルム閉包操作の必要性を排除すること。
• 基礎となるバナッハ空間の弱凸性や可分性といった構造的仮定を緩和すること。
• 開発された微積分法を応用して、無限時間枠における非凸的確率的動的計画法問題における必要最適性条件を導出すること。
• 非線形プログラミング制約を伴う確率的制御における最適値関数の極限部分勾配公式を確立すること。

提案手法

• 非弱凸かつ非可分なバナッハ空間における集合値部分微分写像を扱うために、ボッハ積分の代わりにゲルファンド積分を用いる。
• 飽和測度空間における多価関数のゲルファンド積分に対するライアプノフの凸性定理を適用し、部分微分包含における閉包操作を排除する。
• 測度の飽和性（超原子的非存在性）の概念を用いて、部分微分写像のゲルファンド積分が追加の閉包操作なしに弱*閉包に等しくなることを保証する。
• アスプルンド空間および一般バナッハ空間における基本/極限部分微分およびクラークの一般化勾配に対する一般化されたライプニッツ公式を導出する。
• 価値関数をマージナル関数として表現し、非滑らか最適化のための部分微分則を用いることで、微積分枠組みを確率的動的計画法に応用する。
• 最適値関数に対してベルマン方程式を確立し、パrametricなマングァリアン＝フロモヴィッツ制約適合条件のもとで、部分微分法による必要最適性条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 非弱凸かつ非可分なバナッハ空間における非凸的・非滑らか積分汎関数に対して、積分記号の下での微分の古典的ライプニッツ則を拡張することは可能か？
• RQ2 部分微分包含における閉包操作は、どのような条件下で排除可能か？
• RQ3 測度空間の飽和性は、閉包操作なしに正確な部分微分表現を保証するためにどのように活用可能か？
• RQ4 非凸的・非滑らかなダイナミクスおよび制約を伴う無限時間枠の確率的動的計画法問題における必要最適性条件は何か？
• RQ5 確率的制御の文脈において、弱凸性および可分性の仮定を超えて、結果をどの程度一般化可能か？

主な発見

• 非凸的積分汎関数の制限部分微分に対して一般化されたライプニッツ則が確立された：∂(∫φ(·,ω)dμ)(x̄) ⊂ cl ∫ ∂φ(x̄,ω)dμ において、飽和性のもとで閉包が除去される。
• 飽和測度空間では、部分微分写像のゲルファンド積分が積分の弱*閉包に等しくなるため、閉包操作なしに正確な部分微分表現が可能になる。
• この結果は基本/極限部分微分およびクラークの一般化勾配の両方に対して成り立ち、後者は飽和性がなくても一般バナッハ空間においても正確な包含関係をもたらす。
• 部分微分微積分法は確率的動的計画法に応用され、無限時間枠設定における最適値関数のベルマン方程式が得られる。
• 非線形プログラミング制約を伴う確率的制御問題に対して、必要最適性条件が導出され、最適値関数の部分勾配がラグランジアンの勾配の集合に含まれることが示された。
• 最適解の近傍で政策の多価関数が局所的に上位リプシッツ的選択子を有する場合、部分微分包含において等号が成立する。