[論文レビュー] Online Stochastic Optimization with Wasserstein Based Non-stationarity

Jiashuo Jiang, Xiaocheng Li+1 more|arXiv (Cornell University)|Dec 13, 2020

Optimization and Search Problems参考文献 57被引用数 11

ひとこと要約

本稿では、複数の予算制約を伴うオンライン確率的最適化における分布シフトをモデル化するため、ワッサーシュタインに基づく非定常性測度を提案する。また、事前分布推定値を双対空間の更新に統合する情報的勾配降下法（IGDP）アルゴリズムを導入し、非定常環境下でもデータ駆動型および情報なし設定の両方で最適オーダーのリグレットを達成する。

ABSTRACT

We consider a general online stochastic optimization problem with multiple budget constraints over a horizon of finite time periods. In each time period, a reward function and multiple cost functions are revealed, and the decision maker needs to specify an action from a convex and compact action set to collect the reward and consume the budget. Each cost function corresponds to the consumption of one budget. In each period, the reward and cost functions are drawn from an unknown distribution, which is non-stationary across time. The objective of the decision maker is to maximize the cumulative reward subject to the budget constraints. This formulation captures a wide range of applications including online linear programming and network revenue management, among others. In this paper, we consider two settings: (i) a data-driven setting where the true distribution is unknown but a prior estimate (possibly inaccurate) is available; (ii) an uninformative setting where the true distribution is completely unknown. We propose a unified Wasserstein-distance based measure to quantify the inaccuracy of the prior estimate in setting (i) and the non-stationarity of the system in setting (ii). We show that the proposed measure leads to a necessary and sufficient condition for the attainability of a sublinear regret in both settings. For setting (i), we propose a new algorithm, which takes a primal-dual perspective and integrates the prior information of the underlying distributions into an online gradient descent procedure in the dual space. The algorithm also naturally extends to the uninformative setting (ii). Under both settings, we show the corresponding algorithm achieves a regret of optimal order. In numerical experiments, we demonstrate how the proposed algorithms can be naturally integrated with the re-solving technique to further boost the empirical performance.

研究の動機と目的

• 非定常かつ未知の分布下での複数の予算制約を伴うオンライン確率的最適化に対処すること。
• 事前推定の不正確さと環境の非定常性の両方を定量化する統一的なワッサーシュタイン距離に基づく測度を構築すること。
• データ駆動型および情報なし設定の両方でサブ線形リグレットを達成するアルゴリズムを設計すること。
• 定常なオンライン線形計画法（OLP）と非独立同分布（non-i.i.d.）が既知のネットワーク収益管理（NRM）の間のギャップを埋め、未知で非定常な分布を扱うこと。
• ネットワーク収益管理の数値実験を通じて、アルゴリズムのロバストネスと性能を実証すること。

提案手法

• 事前推定値または真の分布の周囲に不確実性集合を定義するためのワッサーシュタインに基づく乖離予算（WBDB）を提案。非定常性と推定誤差を捉える。
• 双対空間におけるオンライン勾配降下を実行し、双対変数の更新を通じて事前分布知識を統合する情報的勾配降下法（IGDP）アルゴリズムを開発。
• 定期的に上界問題を再最適化するリソルブ・ヒューリスティックを用い、計算効率を損なわずに性能を向上。
• 意思決定を不確実性集合と事前推定値に基づく双対価格から行う、プライマル・デュアルフレームワークを適用。
• 時間周期的な再最適化戦略を採用し、特に非定常環境下で双対推定値を適応的に補正。
• リグレット解析にWBDB不確実性集合を統合し、サブ線形リグレットを達成するための必要十分条件を導出。

(a) $\beta=0$ for the uniform setting

実験結果

リサーチクエスチョン

• RQ1 ワッサーシュタインに基づく測度は、オンライン確率的最適化における非定常性と推定誤差をタイトに特徴づけられるか？
• RQ2 事前分布推定値を双対空間の勾配降下アルゴリズムに統合することで、非定常分布下でも最適リグレットが達成可能か？
• RQ3 非定常環境下でオンライン勾配降下と周期的リソルブを組み合わせた際の、計算効率と性能の最適トレードオフは何か？
• RQ4 真の分布が未知で非定常な状況下で、サブ線形リグレットが達成可能な条件は何か？
• RQ5 非定常性と推定誤差の度合いが異なる状況下で、IGDPアルゴリズムの性能はベースライン手法と比べてどうか？

主な発見

• 提案されたワッサーシュタインに基づく乖離予算（WBDB）は、データ駆動型および情報なし設定の両方でサブ線形リグレットを達成するための必要十分条件を提供する。
• IGDPアルゴリズムは、双対空間の更新に事前分布知識を適応的に統合することで、最適オーダーのリグレットを達成する。
• 数値実験の結果、IGDPは非定常性強度（α）や推定誤差（β）の変動に対しても安定した性能を示し、上界の94.9％～98.8％の性能を達成する。
• リソルブ・ヒューリスティックは性能を著しく向上させ、特に低周波数（例：100または200期間ごと）での効果が顕著で、周波数100を超えると利得はわずかに増加する。
• 高い推定誤差（β = 0.04）下でも、リソルブを組み込んだIGDPは上界の98.1％～98.8％の性能を達成し、ロバストネスを示す。
• 事前情報と適応的再最適化を活用するため、非定常環境下で標準的なOGD型手法を上回る性能を示す。

(b) $\alpha=2$ for the uniform setting