[論文レビュー] Regret and Cumulative Constraint Violation Analysis for Online Convex Optimization with Long Term Constraints

Xinlei Yi, Xiuxian Li+4 more|arXiv (Cornell University)|Jun 9, 2021

Advanced Bandit Algorithms Research参考文献 34被引用数 7

ひとこと要約

本稿では、一時的な制約違反を許容するが、時間経過とともに累積的に制約を満たす必要がある長期的制約付きオンライン凸最適化のための2つの新しいアルゴリズムを提案する。ユーザーが定義するトレードオフパラメータを導入し、強い凸性を活用することで、レジレットと累積的制約違反の両方の境界を改善し、一般のコンパレータ系列において最適なO(√(T(1+P_T)))のレジレットとO(√T)の累積的違反を達成する。

ABSTRACT

This paper considers online convex optimization with long term constraints, where constraints can be violated in intermediate rounds, but need to be satisfied in the long run. The cumulative constraint violation is used as the metric to measure constraint violations, which excludes the situation that strictly feasible constraints can compensate the effects of violated constraints. A novel algorithm is first proposed and it achieves an $\mathcal{O}(T^{\max\{c,1-c\}})$ bound for static regret and an $\mathcal{O}(T^{(1-c)/2})$ bound for cumulative constraint violation, where $c\in(0,1)$ is a user-defined trade-off parameter, and thus has improved performance compared with existing results. Both static regret and cumulative constraint violation bounds are reduced to $\mathcal{O}(\log(T))$ when the loss functions are strongly convex, which also improves existing results. %In order to bound the regret with respect to any comparator sequence, In order to achieve the optimal regret with respect to any comparator sequence, another algorithm is then proposed and it achieves the optimal $\mathcal{O}(\sqrt{T(1+P_T)})$ regret and an $\mathcal{O}(\sqrt{T})$ cumulative constraint violation, where $P_T$ is the path-length of the comparator sequence. Finally, numerical simulations are provided to illustrate the effectiveness of the theoretical results.

研究の動機と目的

• 一時的な制約違反を許容するが、累積的な違反を最小化する長期的制約付きオンライン凸最適化の課題に対処すること。
• 補償効果を除外するより厳密な指標、すなわち累積的制約違反を導入することで、既存のレジレットと制約違反境界を改善すること。
• 一般の凸および強い凸損失関数の下で、任意のコンパレータ系列（動的および静的を含む）に対して最適なレジレットを達成するアルゴリズムを開発すること。
• 従来の結果よりもタイトな理論的境界を確立すること、特に強い凸性の場合には対数的レジレットが達成されることを示すこと。

提案手法

• 時間変動するステップサイズとペナルティパラメータを用いた新規アルゴリズムを提案し、ユーザーが定義するトレードオフパラメータc ∈ (0,1)でレジレットと累積的違反のバランスを制御する。
• 制約違反をペナルティ項として統合するデュアルベースの更新ルールを導入し、各ステップでの実行可能性を要求せず、長期的整合性を保証する。
• 適応的ステップサイズα_t = 2/T^cとペナルティ重みγ_t = T^{c/2}を用いた投影ベースの更新により、収束と制約違反のダイナミクスを制御する。
• 任意のコンパレータ系列に対する最適なレジレットを達成するため、異なるステップサイズを持つ複数のオンライン勾配降下インスタンスとエキスパートトラッキングを用いた第二のアルゴリズムを設計し、O(√(T(1+P_T)))のレジレットを達成する。
• コンパレータ系列の変動を測る指標として、パス長P_T = ∑‖y_{t+1} - y_t‖を用い、動的複雑性に比例するようにレジレット境界を導出する。
• 損失関数の強い凸性を活用して、さらにレジレット境界をタイトにし、O(log T)のレジレットを達成する。これは従来のO(√T)の結果よりも顕著に改善される。

実験結果

リサーチクエスチョン

• RQ1 長期的制約下で、従来の手法よりも改善された境界を達成するオンライン凸最適化アルゴリズムを設計できるか？
• RQ2 ユーザーが定義するトレードオフパラメータcが、提案アルゴリズムにおけるレジレットと累積的制約違反のバランスに与える影響は何か？
• RQ3 提案アルゴリズムは、コンパレータ系列のパス長P_Tに応じた最適なレジレットスケーリングを達成できるか？
• RQ4 損失関数が強い凸性を示す場合、どのようなパフォーマンス向上が可能であり、その条件下で対数的レジレットを達成できるか？
• RQ5 補償可能な実行可能性を除外する累積的制約違反指標は、標準的な違反指標と比較して、より強固で意味のあるパフォーマンス評価をどのように実現するか？

主な発見

• 第一のアルゴリズムは、凸損失関数に対して静的レジレットのO(T^{max{c,1−c}})および累積的制約違反のO(T^{(1−c)/2})の境界を達成し、c ∈ (0,1)はユーザーが定義するトレードオフパラメータである。
• 損失関数が強い凸性を示す場合、レジレットと累積的制約違反の両方がO(log T)にまで低下し、従来のO(√T)の境界よりも顕著に改善される。
• 第二のアルゴリズムは、任意のコンパレータ系列に対して最適なO(√(T(1+P_T)))のレジレットとO(√T)の累積的違反を達成し、定数倍を除いて理論的下界に一致する。
• オンライン線形および二次計画法における数値シミュレーションにより、アルゴリズム1が累積損失および累積的制約違反の両面で既存手法を上回ることが確認され、特に強い凸性下で顕著な優位性を示す。
• 累積的制約違反指標は、厳密に実行可能な制約からの補償を効果的に防止し、より保守的で信頼性の高いパフォーマンス評価を可能にする。
• シミュレーションにおいて提案アルゴリズムは一貫して優位性を示し、アルゴリズム1はYu & Neely (2020)、Yuan & Lamperski (2018) などの手法と比較して、累積損失および制約違反の両方が低くなる。