[논문 리뷰] Adversarial Attacks on Linear Contextual Bandits

Evrard Garcelon, Baptiste Rozière외 5명|arXiv (Cornell University)|2020. 02. 10.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 18

한 줄 요약

이 논문은 선형 연속적 밴디트 알고리즘에 대해 보상 또는 맥락을 조작하여 알고리즘이 특정 암을 높은 빈도로 선택하도록 유도하는 적대적 공격을 제안한다. 공격자는 누적 비용이 로그 수준(O(log T))에 불과할 때도 원하는 암을 거의 최적의 빈도로 선택할 수 있으며, 한 사용자만의 맥락이나 보상만 수정해도 효과적인 공격이 가능하다는 것을 보여준다.

ABSTRACT

Contextual bandit algorithms are applied in a wide range of domains, from advertising to recommender systems, from clinical trials to education. In many of these domains, malicious agents may have incentives to attack the bandit algorithm to induce it to perform a desired behavior. For instance, an unscrupulous ad publisher may try to increase their own revenue at the expense of the advertisers; a seller may want to increase the exposure of their products, or thwart a competitor's advertising campaign. In this paper, we study several attack scenarios and show that a malicious agent can force a linear contextual bandit algorithm to pull any desired arm $T - o(T)$ times over a horizon of $T$ steps, while applying adversarial modifications to either rewards or contexts that only grow logarithmically as $O(\log T)$. We also investigate the case when a malicious agent is interested in affecting the behavior of the bandit algorithm in a single context (e.g., a specific user). We first provide sufficient conditions for the feasibility of the attack and we then propose an efficient algorithm to perform the attack. We validate our theoretical results on experiments performed on both synthetic and real-world datasets.

연구 동기 및 목표

• 악성 공격자가 보상 또는 맥락의 변형을 통해 선형 연속적 밴디트 알고리즘을 특정 암을 선호하도록 조작할 수 있는 방식을 조사한다.
• 단일 사용자 맥락만 수정 가능한 상황에서 공격의 가능성과 비용을 분석하여 실세계 시나리오(예: RAT 컴prom아이즈)를 시뮬레이션한다.
• LinUCB, LinTS, ε-g리디 등 일반적인 밴디트 알고리즘이 이러한 적대적 조작에 얼마나 견딜 수 있는지 평가한다.
• 하나의 목표 암을 선택하도록 유도하는 데 높은 성공률을 달성하면서도 비선형 비용을 갖는 효율적인 공격 알고리즘을 개발한다.
• 합성 및 실세계 데이터셋(MovieLens, Jester 등)에서 이론적 결과를 실증적으로 검증한다.

제안 방법

• 세 가지 설정에서 공격 문제를 수식화한다: 보상 조작, 모든 사용자에 대한 맥락 조작, 단일 대상 사용자에 대한 맥락 조작.
• 공격를 최소화하는 변형 노름을 갖는 동시에 목표 암 선택을 보장하는 볼록 최적화 문제로 공격를 수식화한 ContextualConic 공격 방법을 제안한다.
• 스토케스틱 밴디트 알고리즘에 특히 적합하도록 타당성과 성공률의 균형을 맞추기 위해 이완 및 비이완 변형을 도입한다.
• 특징 벡터의 기하학적 구조와 암 표현의 볼록결합에 기반한 공격 가능성을 위한 충분조건을 유도한다.
• 서브가우시안 노이즈 가정과 유한한 특징 벡터 노름을 사용하여 공격 비용과 알고리즘 행동에 대한 이론적 보장을 확보한다.
• 합성 데이터와 실세계 데이터셋(MovieLens, Jester)을 사용하여 LinUCB, LinTS, ε-greedy에 대한 공격을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 공격자가 T단계 동안의 시간 간격 동안 목표 암을 O(T)번 선택하도록 선형 연속적 밴디트를 유도할 수 있으며, 이때 누적 비용이 비선형 수준에 머무를 수 있는가?
• RQ2 단일 사용자 맥락만 수정 가능한 상황에서 맥락 기반 공격가 성공하기 위한 충분조건는 무엇인가?
• RQ3 보상 기반 및 맥락 기반 적대적 공격에 노출되었을 때, 다양한 밴디트 알고리즘(LinUCB, LinTS, ε-greedy)의 성능는 어떻게 변화하는가?
• RQ4 특징 벡터의 기하학적 구조(예: 볼록결합)와 맥락 기반 공격의 가능성 사이의 관계는 무엇인가?
• RQ5 최소한의 누적 변형 비용으로 실세계 데이터셋에서 높은 성공률을 유지할 수 있는 공격를 구성할 수 있는가?

주요 결과

• ContextualConic 공격는 합성 데이터에서 LinUCB와 LinTS가 98.5%의 경우에 목표 암을 선택하도록 성공적으로 이끌었으며, 누적 보상 변형 비용은 O(log T)에 머물렀다.
• MovieLens 데이터셋에서는 LinUCB와 LinTS에 대해 95% 이상의 성공률를 기록했으며, 총 공격 비용은 T에 대해 로그 수준으로 증가했다.
• 단일 맥락 공격의 경우, LinUCB와 ε-greedy는 모든 데이터셋에서 90% 이상의 성공률를 달성했으며, 비이완 공격가 이완 공격보다 더 효과적이었다.
• Jester 데이터셋은 특징 벡터가 잘 분리되어 있어 특히 취약하다—다른 암들의 볼록결합 내에 포함되는 암이 전체의 5%에 불과하여 공격 가능성이 높아졌다.
• 놀랍게도 ε-greedy 역시 높은 공격 취약성을 보였으며, 이는 탐색 메커니즘이 적대적 맥락 또는 보상 조작을 완전히 완화하지 못한다는 것을 시사한다.
• LinTS에 대한 공격 비용은 LinUCB보다 더 높았는데, 이는 목표 암을 고확률로 선택하도록 보장해야 하기 때문이며, 이는 LinTS의 더 보수적인 샘플링 전략을 반영한다.