[論文レビュー] Near Optimal Adversarial Attacks on Stochastic Bandits and Defenses with Smoothed Responses

Shiliang Zuo|arXiv (Cornell University)|Aug 21, 2020

Advanced Bandit Algorithms Research参考文献 5被引用数 12

ひとこと要約

本稿では、確率的マルチアームバンディットにおける上信頼境界（UCB）アルゴリズムに対する近似的最適な敵対的攻撃戦略を提案する。敵対的攻撃は報酬を改ざんすることで、学習者が目標となるアームを T−o(T) 回選択するように仕向ける。攻撃の累積コストは Õ(√log T) に抑えられ、log log T 要素を除いて最初に証明された下界と一致し、最小限の改ざんでUCBを操作するという点で近似的最適性を示している。

ABSTRACT

I study adversarial attacks against stochastic bandit algorithms. At each round, the learner chooses an arm, and a stochastic reward is generated. The adversary strategically adds corruption to the reward, and the learner is only able to observe the corrupted reward at each round. Two sets of results are presented in this paper. The first set studies the optimal attack strategies for the adversary. The adversary has a target arm he wishes to promote, and his goal is to manipulate the learner into choosing this target arm $T - o(T)$ times. I design attack strategies against UCB and Thompson Sampling that only spend $\widehat{O}(\sqrt{\log T})$ cost. Matching lower bounds are presented, and the vulnerability of UCB, Thompson sampling, and $\varepsilon$-greedy are exactly characterized. The second set studies how the learner can defend against the adversary. Inspired by literature on smoothed analysis and behavioral economics, I present two simple algorithms that achieve a competitive ratio arbitrarily close to 1.

研究の動機と目的

• 確率的マルチアームバンディット設定におけるUCBアルゴリズムの敵対的攻撃に対する脆弱性を調査すること。
• 学習者がほぼすべての T ラウンドで非最適な目標アームを選択するように仕向ける一方で、累積的改ざんを最小限に抑える新しい攻撃戦略を設計すること。
• この設定における累積的攻撃コストの最初の理論的下界を確立すること。
• 下界と O(log log T) 要素の差異を除いて一致することにより、提案された攻撃が近的最適であることを示すこと。
• 先行研究 [4] と比較する数値実験を通じて理論的発見を検証すること。

提案手法

• 敵対的攻撃者は、学習者が選択したアームと真の報酬を観測した後、報酬 rₜ⁰ に戦略的な改ざん αₜ を挿入する。
• 攻撃戦略は、αₜ の大きさと符号を巧みに制御することで、UCBの信頼区間を操作し、目標アームを優位に保つ。
• 真の平均が低い場合でも、目標アームの推定平均が非目標アームよりも高いまま保たれるように攻撃を設計する。
• 集中不等式とUCBの信頼区間幅の性質を活用し、目標アームの優位性を維持する。
• 非目標アームの選択回数を抑える新たな分析フレームワークを開発し、それらが高々 o(T) 回であることを示す。
• UCBの選択ルールと学習者を欺く必要性に基づく背理的証明を用いて、理論的下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 UCBアルゴリズムが非最適な目標アームを T−o(T) 回選択するように仕向けるために必要な最小累積攻撃コストは何か？
• RQ2 先行研究 [4] よりも攻撃コストを低減できるより効率的な攻撃戦略を設計できるか？
• RQ3 提案された攻撃コストは近的最適であるか、さらなる改善が可能か？
• RQ4 報酬の分散 σ² とアーム間の平均差 Δ が攻撃の性能に与える影響は何か？
• RQ5 攻撃コストの上界と一致する理論的下界を確立できるか？

主な発見

• 提案された攻撃は、累積的改ざんコスト Õ(Kσ√log T + ∑ₐ≠ₖ Δₐ⁺) を達成し、[4] の O(log T) コストを √log T 要素で改善している。
• 攻撃は高確率でUCB学習者に目標アームを T−o(T) ラウンド選択させることに成功している。
• 累積的攻撃コストの最初の理論的下界が確立され、上界と O(log log T) 要素の差異を除いて一致している。
• 数値実験により理論的結果が確認され、非目標アームの選択回数が1回（10⁶ラウンド中）に留まっていることが示され、近的最適性が検証された。
• 攻撃コストは [4] の手法と比べて顕著に低く抑えられている：μ=2、σ=0.1 の場合、コストは247.3から3.6に低下し、68倍の改善が達成された。
• 結果から、UCBはε-greedyのような確率的代替手法と比較して、敵対的操作に対して極めて脆弱であることが示唆された。