[論文レビュー] Stochastic bandits robust to adversarial corruptions

Thodoris Lykouris, Vahab Mirrokni+1 more|arXiv (Cornell University)|Mar 25, 2018

Advanced Bandit Algorithms Research参考文献 8被引用数 5

ひとこと要約

本稿では、純粋な確率的環境では最適なレグレットバウンドを維持しつつ、敵対的ノイズが存在する場合に滑らかに線形に腐敗レベル $C$ に依存するよう劣化する、頑健な確率的バンディットアルゴリズムを提案する。提案されたマルチレイヤー・アクティブ・アームエリミネーション・レースアルゴリズムは、$C$ の知識を必要とせず、最適な性能から敵対的レベルへの劣化が滑らかに進行することを保証する。

ABSTRACT

We introduce a new model of stochastic bandits with adversarial corruptions which aims to capture settings where most of the input follows a stochastic pattern but some fraction of it can be adversarially changed to trick the algorithm, e.g., click fraud, fake reviews and email spam. The goal of this model is to encourage the design of bandit algorithms that (i) work well in mixed adversarial and stochastic models, and (ii) whose performance deteriorates gracefully as we move from fully stochastic to fully adversarial models. In our model, the rewards for all arms are initially drawn from a distribution and are then altered by an adaptive adversary. We provide a simple algorithm whose performance gracefully degrades with the total corruption the adversary injected in the data, measured by the sum across rounds of the biggest alteration the adversary made in the data in that round; this total corruption is denoted by $C$. Our algorithm provides a guarantee that retains the optimal guarantee (up to a logarithmic term) if the input is stochastic and whose performance degrades linearly to the amount of corruption $C$, while crucially being agnostic to it. We also provide a lower bound showing that this linear degradation is necessary if the algorithm achieves optimal performance in the stochastic setting (the lower bound works even for a known amount of corruption, a special case in which our algorithm achieves optimal performance without the extra logarithm).

研究の動機と目的

• 大部分の報酬が確率的パターンに従うが、一部が敵対的に腐敗する混合確率的・敵対的環境において、良好に動作するバンディットアルゴリズムの設計。
• 腐敗が増加するに従い、性能が滑らかに劣化することの保証。確率的設定では最適な性能を、腐敗環境では腐敗レベル $C$ に線形に依存する形で劣化させる。
• 腐敗量 $C$ に依存しない（$C$ の事前知識が不要な）アルゴリズムの開発。
• 対数要因を除いてタイトな理論的保証の提示。最適な確率的性能を達成するためには、$C$ に線形依存が不可欠であることを示す。

提案手法

• 報酬が初期的には確率的だが、適応的敵対的攻撃によって変更され得る新しいモデルを導入。全腐敗は $C = \sum_t \max_a |r^t(a) - r^t_\mathcal{S}(a)|$ で上限付き。
• 腐敗データを処理しつつも頑健性を保つため、レイヤー化されたエリミネーションを用いるマルチレイヤー・アクティブ・アームエリミネーション・レースアルゴリズムを提案。
• サブサンプリングとレイヤー射影技術を適用し、敵対的腐敗下でも非最適アームのプレイ回数を制限。
• ホーフィング型集中不等式を用いて分散を制御し、腐敗したフィードバックであっても高確率でのレグレット保証を確保。
• SAPOアルゴリズムを変更されたレイヤー水準に統合し、腐敗レベルの変動に応じたバイクリテリア的擬似レグレットバウンドを達成。
• 非最適アームのプレイ回数の上界を確立し、ギャップ $\Delta(a)$ が小さいかどうかに応じて、レグレット寄与の分析を通じて理論的保証を構築。

実験結果

リサーチクエスチョン

• RQ1 バンディットアルゴリズムは、純粋な確率的環境では最適なレグレットを維持しつつ、敵対的腐敗に対しても頑健であることができるか？
• RQ2 確率的環境から腐敗環境に移行する際の性能劣化の最小限は何か？ これは $C$ に対して線形にバウンド可能か？
• RQ3 腐敗レベル $C$ に依存しないが、確率的状況ではほぼ最適な性能を達成できるアルゴリズムを設計可能か？
• RQ4 ギャップ $\Delta(a)$ が小さい場合（特に $\Delta(a) \leq 1/\sqrt{T}$ の場合）、レグレットバウンドにおける $\Delta(a)$ への逆依存を改善できるか？
• RQ5 腐敗レベル $C$ が既知であっても、このような頑健性のためには $C$ に線形依存が不可欠であるか？

主な発見

• 提案アルゴリズムは、確率 $1 - \delta$ で $\mathcal{O}\left(\sum_{a \neq a^*} \frac{K C \log(\frac{KT}{\delta}) + \log T}{\Delta(a)} \log(\frac{KT}{\delta}) \right)$ のレグレットを達成する。これは $C$ に線形に劣化するが、確率的状況では $T$ に対する対数的依存が最適に保たれる。
• レグレットバウンドは滑らかに劣化する：$C = 0$ の場合、対数要因を除いて最適な $\mathcal{O}(\log T)$ レグレットが回復される。
• ギャップ $\Delta(a) \leq 1/\sqrt{T}$ のアームに対しては、レグレットバウンドを $\min(\sqrt{T}, 1/\Delta(a))$ に改善可能。これは、このようなアームを完全に活用しても損失が限定的であることを反映している。
• 下界を確立し、最適な確率的性能を達成するあらゆるアルゴリズムについて、$C$ に線形依存が不可欠であることを示した。これは $C$ が既知であっても同様に成り立つ。
• SAPOアルゴリズムと組み合わせることで、バイクリテリア保証を達成：$C \leq T^a$ の場合、擬似レグレットは $\mathcal{O}(\log T)$、そうでない場合は $\mathcal{O}(T^{1/2 + a})$ となる。任意の $a < 1/2$ に対して成り立ち、$a=0$ の場合、最良の両方の世界のレジームが回復される。