[論文レビュー] Online Convex Optimization with Stochastic Constraints

Hao Yu, Michael J. Neely+1 more|arXiv (Cornell University)|Aug 12, 2017

Advanced Bandit Algorithms Research参考文献 27被引用数 29

ひとこと要約

本稿では、意思決定後にのみ明らかになるi.i.d.な確率的制約を伴う問題に対する、新しいオンライン凸最適化（OCO）アルゴリズムを提案する。本手法は、期待値で$O(\sqrt{T})$のレジーットと制約違反を達成し、高確率で$O(\sqrt{T}\log T)$の境界を満たす。これは、不確実性下での非線形成長を示す既存手法を上回る。

ABSTRACT

This paper considers online convex optimization (OCO) with stochastic constraints, which generalizes Zinkevich's OCO over a known simple fixed set by introducing multiple stochastic functional constraints that are i.i.d. generated at each round and are disclosed to the decision maker only after the decision is made. This formulation arises naturally when decisions are restricted by stochastic environments or deterministic environments with noisy observations. It also includes many important problems as special cases, such as OCO with long term constraints, stochastic constrained convex optimization, and deterministic constrained convex optimization. To solve this problem, this paper proposes a new algorithm that achieves $O(\sqrt{T})$ expected regret and constraint violations and $O(\sqrt{T}\log(T))$ high probability regret and constraint violations. Experiments on a real-world data center scheduling problem further verify the performance of the new algorithm.

研究の動機と目的

• 意思決定後にのみ明らかになるi.i.d.な確率的制約を伴うオンライン凸最適化を扱う。
• 既存のOCO手法が制約集合を事前に知る必要があるか、時間的に変化する制約に対して失敗するという限界を克服する。
• 分布が未知で制約情報が遅延する状況下でも、レジーットと制約違反の両方が非線形に成長することを防ぐアルゴリズムを設計する。
• 長期的制約付きOCO、確率的最適化、決定的制約付き問題といった重要な特殊ケースに一般化する。
• 実世界の応用（例：データセンターのスケジューリング）に適した、タイトで実用的な理論的境界を達成する。

提案手法

• 制約違反を追跡する動的双対変数ベクトル$\mathbf{Q}(t)$を維持する双対ベースのオンラインアルゴリズムを導入する。
• 時間に依存するペナルティパラメータ$V$を用いて、レジーットと制約違反のバランスを取るためのリャプノフ最適化フレームワークを適用する。
• 損失関数$f^t(\cdot)$の部分勾配と双対変数を用いて、射影勾配更新を決定変数$\mathbf{x}(t)$に適用する。
• 確率的制約の分布が未知であるのを補うために、確率的ラウンディングまたはサンプリング手法を組み込む。
• 集中不等式（例：ホフディング型の不等式）を用いて、大きな制約違反の確率を制限する。
• 収束性と両方のレジーット・違反の非線形成長を保証するため、時間に依存するステップサイズと双対更新則を用いる。

実験結果

リサーチクエスチョン

• RQ1 制約がi.i.d.かつ意思決定後にのみ明らかになる場合、確率的制約付きオンライン凸最適化は、非線形のレジーットと制約違反を達成できるか？
• RQ2 確率的制約下で、$O(\sqrt{T})$の期待レジーットと$O(\sqrt{T}\log T)$の高確率境界を両立させるために、どのようなアルゴリズム的構造が必要か？
• RQ3 理論的保証と実世界問題における実用的性能の観点から、本手法は既存手法と比べてどのように差をつけるか？
• RQ4 本フレームワークは、一般の確率的および決定的制約付き最適化問題を特殊ケースとして取り入れられるか？
• RQ5 双対変数の動的変化と時間に依存するペナルティパラメータが、収束性と制約の満たし方に対してどのような影響を与えるか？

主な発見

• 提案手法は、期待値で$O(\sqrt{T})$のレジーットと$O(\sqrt{T})$の制約違反を達成し、標準的なOCOにおける最良の既知の境界と一致する。
• 高確率で、レジーットと制約違反は$O(\sqrt{T}\log T)$で抑えられ、より強い確率的保証を提供する。
• 本アルゴリズムは、長期的制約付きOCO、確率的制約付き最適化、決定的制約付き問題といった特殊ケースに適用可能である。
• 実世界のデータセンターのスケジューリング問題における実験により、本手法の性能が確認され、ベースラインと比較して競争力のあるコストと制約満たし率を示した。
• 理論的解析により、制約集合が未知で、射影が定義されていない状況下でも、レジーットと制約違反の両方が非線形に成長することを保証した。
• 時間に依存するペナルティパラメータ$V=\sqrt{T}$と双対変数の更新を用いることで、双対ドリフトとリャプノフ関数が適切に時間とともに減少することが保証された。