[論文レビュー] Online Stochastic Convex Optimization: Wasserstein Distance Variation

Iman Shames, Farhad Farokhi|arXiv (Cornell University)|Jun 2, 2020

Risk and Portfolio Optimization参考文献 34被引用数 5

ひとこと要約

本稿では、時間変動する確率分布の下で、Wasserstein距離を用いて分布のずれをモデル化するオンラインプロキシマル・グラデント法を提案する。強い凸性、Lipschitz勾配、有界なWassersteinずれの下で動的リグレットバウンドを確立するとともに、勾配の有界性を緩和し、オンライン実装における計算の実行可能性を向上させるための正確なペナルティ法を導入する。

ABSTRACT

Distributionally-robust optimization is often studied for a fixed set of distributions rather than time-varying distributions that can drift significantly over time (which is, for instance, the case in finance and sociology due to underlying expansion of economy and evolution of demographics). This motivates understanding conditions on probability distributions, using the Wasserstein distance, that can be used to model time-varying environments. We can then use these conditions in conjunction with online stochastic optimization to adapt the decisions. We considers an online proximal-gradient method to track the minimizers of expectations of smooth convex functions parameterised by a random variable whose probability distributions continuously evolve over time at a rate similar to that of the rate at which the decision maker acts. We revisit the concepts of estimation and tracking error inspired by systems and control literature and provide bounds for them under strong convexity, Lipschitzness of the gradient, and bounds on the probability distribution drift. Further, noting that computing projections for a general feasible sets might not be amenable to online implementation (due to computational constraints), we propose an exact penalty method. Doing so allows us to relax the uniform boundedness of the gradient and establish dynamic regret bounds for tracking and estimation error. We further introduce a constraint-tightening approach and relate the amount of tightening to the probability of satisfying the constraints.

研究の動機と目的

• 時間変動する環境におけるオンライン確率的凸最適化を扱い、特にファイナンスや社会学などの分野で観察される確率分布の時間的変化に着目する。
• Wasserstein距離を用いて分布のずれをモデル化し、有界な不確実性集合を仮定しないで、変化するデータ分布に対して頑健な手法を実現する。
• 分布のずれに伴って変化する期待コスト関数の最小化点を追跡できるオンラインプロキシマル・グラデントアルゴリズムを開発する。
• 一般の制約集合への適用を可能にするために、勾配の均一有界性仮定を緩和するための正確なペナルティ法を導入する。
• 強い凸性およびLipschitz勾配条件の下で、追跡誤差および推定誤差、および動的リグレットに対する理論的バウンドを提供する。

提案手法

• 時間変動する確率分布の変化率を定量化するためにWasserstein距離を用い、オンライン設定におけるずれのモデル化を可能にする。
• 滑らかな凸関数の期待値の最小化点を時間経過とともに追跡するためのオンラインプロキシマル・グラデント法を適用する。
• 射影に基づく制約を置き換えるために正確なペナルティ法を導入し、均一な勾配有界性仮定の緩和を実現する。
• 誤差を推定誤差と追跡誤差に分解することで動的リグレットバウンドを導出する。強い凸性およびLipschitz勾配条件を活用する。
• 理論的バウンドの妥当性を検証するため、モンテカルロシミュレーションを用い、期待値およびWasserstein距離を経験的測度により近似する。
• 制約の厳密化と制約の満たされる確率の関係を関係づけ、オンライン意思決定における確率的実行可能性保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間変動環境における分布のずれを、オンライン確率的最適化に効果的にモデル化するにはどうすればよいか？
• RQ2 強い凸性、Lipschitz勾配、および有界なWassersteinずれの下で、どのような動的リグレットバウンドが達成可能か？
• RQ3 一般の制約集合に対して、勾配の均一有界性仮定を緩和することは可能か？
• RQ4 正確なペナルティ法は、理論的性能保証を維持したまま、計算の実行可能性をどのように向上させるか？
• RQ5 オンライン最適化において、制約の厳密化と制約の満たされる確率の関係は何か？

主な発見

• 本稿では、強い凸性、Lipschitz勾配、および例示的な例で約 ρ ≈ 0.33 の有界なWassersteinずれ率の下で、追跡誤差および推定誤差が有界に保たれることを確立した。
• 動的リグレットは有界であり、時間に伴って非線形的に増加するが、時間変動する分布への適応が有効に機能していることを示している。
• 正確なペナルティ法により、勾配の均一有界性の必要性が明確に緩和され、一般の凸制約集合への適用が可能になった。
• 理論的バウンドがモンテカルロシミュレーションにより妥当性を確認され、時間経過に伴い期待追跡誤差および推定誤差が有界に保たれていることが示された。
• 制約の厳密化が制約の満たされる確率と直接関係していることが示され、確率的実行可能性保証が可能になった。
• 絶対連続でない分布を扱えること、有効な信頼集合を提供できることから、Wasserstein距離はKullback-Leibler発散よりも不確実性集合に適している。