[論文レビュー] Data Poisoning Attacks on Stochastic Bandits

Fang Liu, Ness B. Shroff|arXiv (Cornell University)|May 16, 2019

Advanced Bandit Algorithms Research被引用数 30

ひとこと要約

本稿は、確率的マルチアームバンディットに対するデータ汚染攻撃のための新規フレームワークを提案し、オフラインおよびオンラインの攻撃戦略を導入する。攻撃者は、バンディットアルゴリズムがターゲットアームを選択する確率を高めるために最小限の報酬操作を行うことで、被害者に線形のリグレットを引き起こしつつ、攻撃者自身のコストは対数的であることを示している。これは、バンディットアルゴリズムの内部機構を事前に知らない状況でも成立する。

ABSTRACT

Stochastic multi-armed bandits form a class of online learning problems that have important applications in online recommendation systems, adaptive medical treatment, and many others. Even though potential attacks against these learning algorithms may hijack their behavior, causing catastrophic loss in real-world applications, little is known about adversarial attacks on bandit algorithms. In this paper, we propose a framework of offline attacks on bandit algorithms and study convex optimization based attacks on several popular bandit algorithms. We show that the attacker can force the bandit algorithm to pull a target arm with high probability by a slight manipulation of the rewards in the data. Then we study a form of online attacks on bandit algorithms and propose an adaptive attack strategy against any bandit algorithm without the knowledge of the bandit algorithm. Our adaptive attack strategy can hijack the behavior of the bandit algorithm to suffer a linear regret with only a logarithmic cost to the attacker. Our results demonstrate a significant security threat to stochastic bandits.

研究の動機と目的

• 推薦システムや医療治療など、実世界の応用で広く使われている確率的バンディットアルゴリズムに対する敵対的攻撃の理解に大きなギャップが存在するという問題を解決すること。
• 履歴報酬データを操作することで、バンディットアルゴリズムがターゲットアームを好むように誘導するオフライン攻撃フレームワークを開発すること。
• 被害者のアルゴリズムの内部メカニズムを事前に知らなくても動作する、適応的で普遍的なオンライン攻撃戦略を設計すること。
• 理論的分析と数値実験を通じて、これらの攻撃の有効性とコスト効率を評価すること。

提案手法

• オフライン攻撃を凸最適化問題として定式化し、バンディットアルゴリズムがターゲットアームを選択する確率を高めるために必要な最小限の報酬摂動を特定する。
• この最適化フレームワークを、ε-グリーディ、UCB、トムソンサンプリングの3つの代表的なバンディットアルゴリズムに適用し、アルゴリズム固有の攻撃戦略を導出する。
• リアルタイムでバンディットの意思決定を観測し、フィードバック報酬を操作することでアルゴリズムをだます適応的で普遍的なオンライン攻撃戦略（ACE）を提案する。
• 攻撃コストを測定する指標として、汚染努力比を用いる：$ \frac{||\vec{\epsilon}||_{2}}{||\vec{y}||_{2}} $、これは摂動の相対的な大きさを測る。
• 時間枠に依存する攻撃コストモデルを採用し、$ T \to \infty $ であってもACEが $ O(\log T) $ のコストを維持することを示し、同時に線形リグレットを誘発することを確認する。
• 複数のバンディットアルゴリズムと報酬分布に対して、$ \delta = 0.05 $ を成功の許容誤差として用いて、シミュレーションにより攻撃戦略の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 オフライン設定において、データ汚染攻撃を凸最適化問題として効果的に定式化できるか、バンディット学習行動を操作できるか？
• RQ2 ε-グリーディ、UCB、トムソンサンプリングに対するアルゴリズム固有のオフライン攻撃は、ターゲットアームの選択を強制するためにどの程度有効か？
• RQ3 被害者のアルゴリズムの内部メカニズムを事前に知らなくても動作する普遍的なオンライン攻撃戦略を設計できるか？
• RQ4 オンライン設定において、攻撃コストと被害バンディットアルゴリズムのリグレットのトレードオフはどのようなものか？
• RQ5 オンライン攻撃において、攻撃コストは報酬ギャップ $ \Delta $ と時間枠 $ T $ に対してどのようにスケーリングされるか？

主な発見

• オフライン攻撃フレームワークは、ε-グリーディ、UCB、トムソンサンプリングが、$ 1 - \delta $ 以上の確率でターゲットアームを選択するように成功させ、わずかな摂動で実現した。
• ε-グリーディ、UCB、トムソンサンプリング攻撃における汚染努力比は、それぞれ10%未満、2%未満、5%未満であり、低コストでの操作が可能であることを示している。
• 提案されたACE攻撃戦略は、被害バンディットアルゴリズムに線形リグレットを誘発しながらも、被害者のアルゴリズムの内訳を知らない状況でも、$ O(\log T) $ の攻撃コストを維持している。
• オンライン攻撃において、ACEは時間経過とともにターゲットアームの選択回数を著しく増加させる—特に $ \Delta = 1 $ の場合に顕著で、理論的な線形リグレットの結果を裏付けている。
• ACEの攻撃コストはUCBに対するアルゴリズム固有攻撃よりは高いが、普遍的であり、一般性と効率性のトレードオフを提供している。
• トムソンサンプリングとε-グリーディは、最適アームへの収束が速いため、UCBよりも攻撃コストが低く、報酬操作に対してより感受性が高い。