[論文レビュー] Adaptive Algorithms for Online Convex Optimization with Long-term Constraints

Rodolphe Jenatton, Jim Huang+1 more|arXiv (Cornell University)|Dec 23, 2015

Advanced Bandit Algorithms Research参考文献 21被引用数 10

ひとこと要約

本稿では、各ラウンドではなく時間全体にわたって累積的に満たされるべき長期間制約を伴うオンライン凸最適化のための適応的オンライン勾配降下法を提案する。この手法は、損失関数に関して$ olimits\mathcal{O}(T^{\max\{\beta,1-\beta\}})$、制約違反に関して$ olimits\mathcal{O}(T^{1-\beta/2})$のレグレットバウンドを達成し、$T$の事前知識が不要であること、および複雑な制約集合への高コストなプロジェクションを回避するためのサドルポイント定式化を用いることで、先行研究を改善する。

ABSTRACT

We present an adaptive online gradient descent algorithm to solve online convex optimization problems with long-term constraints , which are constraints that need to be satisfied when accumulated over a finite number of rounds T , but can be violated in intermediate rounds. For some user-defined trade-off parameter $β$ $\in$ (0, 1), the proposed algorithm achieves cumulative regret bounds of O(T^max{$β$,1--$β$}) and O(T^(1--$β$/2)) for the loss and the constraint violations respectively. Our results hold for convex losses and can handle arbitrary convex constraints without requiring knowledge of the number of rounds in advance. Our contributions improve over the best known cumulative regret bounds by Mahdavi, et al. (2012) that are respectively O(T^1/2) and O(T^3/4) for general convex domains, and respectively O(T^2/3) and O(T^2/3) when further restricting to polyhedral domains. We supplement the analysis with experiments validating the performance of our algorithm in practice.

研究の動機と目的

• 各ラウンドではなく時間全体にわたって満たされるべき制約を伴うオンライン凸最適化問題に対処すること。
• 複雑な制約集合への計算コストの高いプロジェクションを回避するため、単純な包摂集合を用いるアルゴリズムの開発。
• ラウンド数$T$の事前知識が不要であることを前提に、損失および累積的制約違反の両方について非線形レグレットバウンドを導出すること。
• 特にMahdaviら（2012年）の結果を含む既存のレグレットバウンドを、一般凸領域および多面体凸領域の両方で改善すること。

提案手法

• 損失関数と長期間制約を同時に最適化するため、サドルポイント定式化を用い、累積的整合性を強制するための双対変数を導入する。
• 累積勾配ノルムの平方根の逆数に比例するスケーリングを行う適応的ステップサイズ$\eta_t$を採用し、収束を高速化する。
• 反復を制約集合$\mathcal{X}$への各ラウンドのプロジェクションを回避するため、$\mathcal{X}$を含む凸包摂集合$\mathcal{B} \supseteq \mathcal{X}$に制限する。
• 双対変数の更新を制御するためのペナルティ関数$\theta_t \phi(\lambda)$を導入し、$\phi$は安定性と非線形レグレットを保証するために選択される。
• 微分不等式条件を用いて双対変数およびステップサイズのバウンドを導出し、損失と制約違反の間の最適なトレードオフを実現する。
• 凸的かつ1強凸なペナルティ関数$\phi$を用いてアルゴリズムを具体化し、双対更新にはFenchel共役のモレウエンvelopeを含む。

実験結果

リサーチクエスチョン

• RQ1 事前知識として$T$を必要とせず、損失および長期間制約違反の両方について非線形レグレットを達成する適応的オンラインアルゴリズムを設計できるか？
• RQ2 計算コストの高い各ラウンドにおける複雑な制約集合へのプロジェクションを回避しつつ、強いレグレット保証を維持できるか？
• RQ3 長期間制約設定において、損失のレグレットと制約違反のレグレットの最適なトレードオフは何か？
• RQ4 先行研究で得られた最良のレグレットバウンド$ olimits\mathcal{O}(T^{1/2})$および$ olimits\mathcal{O}(T^{3/4})$を改善できるか？
• RQ5 適応的ステップサイズおよびペナルティ関数は、反復の収束性および整合性にどのように影響を与えるか？

主な発見

• 提案されたアルゴリズムは、損失関数に関して$ olimits\mathcal{O}(T^{\max\{\beta,1-\beta\}})$の累積的レグレットを達成し、一般凸領域では先行研究の最良バウンド$ olimits\mathcal{O}(T^{1/2})$を改善する。
• 制約違反に関しては、$ olimits\mathcal{O}(T^{1-\beta/2})$のレグレットを達成し、先行研究の最良バウンド$ olimits\mathcal{O}(T^{3/4})$を改善する。
• 理論的レグレットバウンドが劣っている場合でも、収束を加速する大きな有効ステップサイズのおかげで、実際の実験では標準的オンライン勾配降下法を上回る性能を示す。
• ijcnn1およびcovtypeデータセットにおける実験では、アルゴリズムが制約集合内で整合性を保ち、ベースラインのOGDよりも低い累積的レグレットを達成することが確認された。
• 制約集合が多面体でない場合でも、アルゴリズムは効果を発揮する。これは、単純な包摂集合$\mathcal{B}$内で動作するため、直接のプロジェクションを回避できるからである。
• 分析から、ペナルティ関数$\phi$の選択がレグレットバウンドに顕著な影響を与えることが明らかになった。特に、二次的成長および強凸性が安定性に不可欠である。