[論文レビュー] Adversarial Attacks on Linear Contextual Bandits

Evrard Garcelon, Baptiste Rozière+5 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Bandit Algorithms Research参考文献 38被引用数 18

ひとこと要約

この論文は、報酬または文脈を操作することで、線形文脈的バンディットアルゴリズムに対して敵対的攻撃を提案し、アルゴリズムが特定のアームを高頻度で選択させることを目的としている。攻撃者はわずかな累積コスト（対数的）で望ましいアームのほぼ最適な選択を達成でき、1人のユーザーの文脈や報酬のみを変更しても効果的な攻撃が可能であることを示している。

ABSTRACT

Contextual bandit algorithms are applied in a wide range of domains, from advertising to recommender systems, from clinical trials to education. In many of these domains, malicious agents may have incentives to attack the bandit algorithm to induce it to perform a desired behavior. For instance, an unscrupulous ad publisher may try to increase their own revenue at the expense of the advertisers; a seller may want to increase the exposure of their products, or thwart a competitor's advertising campaign. In this paper, we study several attack scenarios and show that a malicious agent can force a linear contextual bandit algorithm to pull any desired arm $T - o(T)$ times over a horizon of $T$ steps, while applying adversarial modifications to either rewards or contexts that only grow logarithmically as $O(\log T)$. We also investigate the case when a malicious agent is interested in affecting the behavior of the bandit algorithm in a single context (e.g., a specific user). We first provide sufficient conditions for the feasibility of the attack and we then propose an efficient algorithm to perform the attack. We validate our theoretical results on experiments performed on both synthetic and real-world datasets.

研究の動機と目的

• 悪意あるエージェントが報酬または文脈の摂動を用いて、線形文脈的バンディットアルゴリズムを特定のアームの選択に偏らせる方法を調査すること。
• 1人のユーザーの文脈のみを変更可能な状況下での攻撃の実現可能性とコストを分析すること。これは、RAT侵害などの現実世界のシナリオを模倣する。
• LinUCB、LinTS、およびε-greedyといった一般的なバンディットアルゴリズムが、このような敵対的摂動に対してどれほど頑健であるかを評価すること。
• サブ線形コストで高い成功確率を達成できる効率的な攻撃アルゴリズムを開発すること。
• 理論的考察を合成データおよび実世界のデータセット（例：MovieLens、Jester）を用いて実証的に検証すること。

提案手法

• 報酬操作、全ユーザーの文脈操作、および1人のターゲットユーザーの文脈操作の3つの設定において、攻撃問題を形式化する。
• 攻撃を凸最適化問題として定式化し、摂動ノルムを最小化しながらターゲットアームの選択を保証する「ContextualConic」攻撃法を提案する。
• 特に確率的バンディットアルゴリズム向けに、実現可能性と成功確率のバランスを取るために、緩和版および非緩和版の攻撃を導入する。
• 特徴ベクトルの幾何構造とアーム表現の凸包に基づいて、攻撃の実現可能性の十分条件を導出する。
• サブガウスノイズの仮定と有界な特徴ノルムを用いて、攻撃コストとアルゴリズム挙動に関する理論的保証を確保する。
• 合成データおよび実世界のデータセット（MovieLens、Jester）を用いて、LinUCB、LinTS、およびε-greedyに対する攻撃を実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者がTステップの時間枠内で、サブ線形コストで線形文脈的バンディットをO(T)回のターゲットアーム選択に誘導できるか？
• RQ2 1人のユーザーの文脈のみを変更可能な状況下で、文脈ベースの攻撃が成功する十分条件は何か？
• RQ3 報酬および文脈ベースの敵対的攻撃下で、異なるバンディットアルゴリズム（LinUCB、LinTS、ε-greedy）の性能はどのように変化するか？
• RQ4 特徴ベクトルの幾何的構造（例：凸包）と文脈ベース攻撃の実現可能性の関係は何か？
• RQ5 最小限の累積摂動コストで、実世界のデータセットにおいて高い成功確率を維持できる攻撃を構築できるか？

主な発見

• ContextualConic攻撃は、合成データ上でのLinUCBおよびLinTSに対して、98.5％の成功率を達成し、累積報酬摂動コストはO(log T)にとどまる。
• MovieLensデータセットでは、攻撃がLinUCBおよびLinTSで95％を超える成功率を達成し、総攻撃コストはTに関して対数的に増加する。
• 単一文脈攻撃では、LinUCBおよびε-greedyが全データセットで90％を超える成功率を示し、非緩和版攻撃が緩和版よりも効果的である。
• Jesterデータセットは、特徴ベクトルが明確に分離されているため特に脆弱である——他のアームの凸包内に含まれるアームはたった5％にとどまり、攻撃の実現可能性が向上する。
• 驚くべきことに、ε-greedyに対しても高い感受性が示された。これは、探索メカニズムが敵対的文脈または報酬摂動を完全に緩和しないことを示唆している。
• LinTSにおける攻撃コストはLinUCBよりも高い。これは、ターゲットアームを高確率で選択させる必要があるためであり、より慎重なサンプリング戦略を反映している。