[論文レビュー] Parameter-Free Online Convex Optimization with Sub-Exponential Noise

Kwang-Sung Jun, Francesco Orabona|arXiv (Cornell University)|Feb 5, 2019

Advanced Bandit Algorithms Research参考文献 27被引用数 7

ひとこと要約

本稿では、Banach空間におけるサブ指数的ノイズを伴うパラメータフリーなオンライン凸最適化（OCO）アルゴリズムBANCOを紹介する。ノイズありコインベッティングへの還元を用い、期待されるリグレットがO(∥u∥√(G² + σ²)T log(1 + ∥u∥T))のスケーリングを達成する。これは、有界でないノイズ付きサブ勾配と、コンパレータノルムやノイズレベルに関する事前知識の欠如にもかかわらず、ノイズなしのミニマックスレートに一致する。

ABSTRACT

We consider the problem of unconstrained online convex optimization (OCO) with sub-exponential noise, a strictly more general problem than the standard OCO. In this setting, the learner receives a subgradient of the loss functions corrupted by sub-exponential noise and strives to achieve optimal regret guarantee, without knowledge of the competitor norm, i.e., in a parameter-free way. Recently, Cutkosky and Boahen (COLT 2017) proved that, given unbounded subgradients, it is impossible to guarantee a sublinear regret due to an exponential penalty. This paper shows that it is possible to go around the lower bound by allowing the observed subgradients to be unbounded via stochastic noise. However, the presence of unbounded noise in unconstrained OCO is challenging; existing algorithms do not provide near-optimal regret bounds or fail to have a guarantee. So, we design a novel parameter-free OCO algorithm for Banach space, which we call BANCO, via a reduction to betting on noisy coins. We show that BANCO achieves the optimal regret rate in our problem. Finally, we show the application of our results to obtain a parameter-free locally private stochastic subgradient descent algorithm, and the connection to the law of iterated logarithms.

研究の動機と目的

• 有界でないサブ指数的ノイズ付きサブ勾配を伴う非制約的オンライン凸最適化（OCO）の課題に対処する。標準的手法では指数的リグレットペナルティのため失敗する。
• 敵対的ノイズ下で、有界でないサブ勾配を伴うパラメータフリーOCOは不可能であるという最近の下界を、フィードバックにおける確率的要素の導入によって克服する。
• コンパレータノルム∥u∥と時間枠Tの未知の値に適応する新アルゴリズムを設計し、最適なリグレットスケーリングを達成する。
• ノイズありコインベッティングとBanach空間における集中不等式の間の関係を確立し、繰り返し対数法則に接続する。
• 提案フレームワークを微分プライバシーに適用し、最初のパラメータフリー局所的プライベートな確率的勾配降下法を構築する。

提案手法

• Banach空間における非制約的OCO問題を、資産最大化がリグレット最小化に対応する1次元のノイズありコインベッティングゲームに還元する。
• 特定の事前分布π(β) ∝ 1/(|β| (ln²(σ₁D|β|) + 1))を用いた新しいベッティングポテンシャル関数を設計し、スーパーマルティンゲール性と最適集中を保証する。
• BANCOをブラックボックス還元として構築：双対ノルムとサブ勾配フィードバックを用いて、Banach空間のOCO問題を1次元コインベッティングゲームにマッピングする。
• 得られたスーパーマルティンゲールに対してドーブの不等式を適用し、ノイズ付きサブ勾配の和の高確率集中不等式を導出する。
• 適応的ステップサイズを用いたオンラインミラー降下フレームワークを用い、リグレットのスケーリングが繰り返し対数法則のレートと一致するBanach空間値集中不等式を導出する。
• ノイズレベルσ²に対する一致する下界を構築することで、リグレットバウンドが定数要因を除いて改善不能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ノイズ下で不可能であると示されたパラメータフリーOCOが、サブ指数的ノイズによる有界でないサブ勾配の下でも達成可能か？
• RQ2 コンパレータノルム∥u∥の事前知識なしに、有界でないノイズ付きサブ勾配の下で、∥u∥とTに最適なスケーリングを達成するアルゴリズムを設計可能か？
• RQ3 サブ指数的ノイズを伴う非制約的OCOの最良のリグレットバウンドは何か？また、ノイズなしのミニマックスレートに一致可能か？
• RQ4 ノイズありコインベッティングフレームワークは、Banach空間における新たな集中不等式を生み出すか？その関係は、古典的結果（例：繰り返し対数法則）とどうか？
• RQ5 提案フレームワークは微分プライバシーに応用可能か？その応用により、最初のパラメータフリー局所的プライベートな確率的勾配降下法が構築可能か？

主な発見

• BANCOは滑らかなBanach空間において、期待リグレットバウンドO(∥u∥√(G² + σ²)T log(1 + ∥u∥T))を達成し、最適なノイズなしミニマックスレートに一致する。
• ノイズレベルσ²に対する一致する下界により、リグレットバウンドが定数要因を除いて改善不能であることが示された。
• アルゴリズムにより、ベッティングポテンシャルから得られるスーパーマルティンゲールに対するドーブの不等式を経由して、繰り返し対数法則のレートと一致するBanach空間値集中不等式が導出された。
• フレームワークにより、最初のパラメータフリー局所的プライベートな確率的勾配降下法が構築可能であり、Wuら（2017）の結果と多項式対数的要因を除いて同等の収束レートを達成する。
• βが有界でない場合、標準的事前分布1/(β ln²(β))に置き換えることはできず、π(β) ∝ 1/(|β| (ln²(σ₁D|β|) + 1))が最適バウンドを達成するために不可欠である。
• 本手法により、注意深く選ばれた事前分布を用いたノイズありコインベッティングが鋭い集中不等式をもたらし、オンライン学習と確率過程の間の新たな橋渡しを提供することが明らかになった。