[논문 리뷰] Data Poisoning Attacks on Stochastic Bandits

Fang Liu, Ness B. Shroff|arXiv (Cornell University)|2019. 05. 16.

Advanced Bandit Algorithms Research인용 수 30

한 줄 요약

이 논문은 확률적 다중 손잡이 밴딧에 대한 데이터 풀링 공격을 위한 새로운 프레임워크를 제안하며, 오프라인 및 온라인 공격 전략을 모두 도입한다. 공격자가 밴딧 알고리즘의 목표 손잡이 선택 확률을 높이기 위해 최소한의 보상 조작만으로도 가능함을 입증한다—공격자에게는 로그라르티즘 비용으로서만 비용이 발생하고, 피해자의 밴딧 알고리즘은 선형적 회귀를 경험함으로써 심각한 손해를 입는다. 이는 밴딧 알고리즘의 내부 구조를 사전에 알지 못하더라도 성립한다.

ABSTRACT

Stochastic multi-armed bandits form a class of online learning problems that have important applications in online recommendation systems, adaptive medical treatment, and many others. Even though potential attacks against these learning algorithms may hijack their behavior, causing catastrophic loss in real-world applications, little is known about adversarial attacks on bandit algorithms. In this paper, we propose a framework of offline attacks on bandit algorithms and study convex optimization based attacks on several popular bandit algorithms. We show that the attacker can force the bandit algorithm to pull a target arm with high probability by a slight manipulation of the rewards in the data. Then we study a form of online attacks on bandit algorithms and propose an adaptive attack strategy against any bandit algorithm without the knowledge of the bandit algorithm. Our adaptive attack strategy can hijack the behavior of the bandit algorithm to suffer a linear regret with only a logarithmic cost to the attacker. Our results demonstrate a significant security threat to stochastic bandits.

연구 동기 및 목표

• 실제 응용 분야인 추천 시스템 및 의료 치료 등에 널리 사용되는 확률적 밴딧 알고리즘에 대한 악성 공격 이해 부족의 심각한 격차를 메우기 위해.
• 역사적 보상 데이터를 조작하여 밴딧 알고리즘의 목표 손잡이 선호도를 유도하는 오프라인 공격 프레임워크를 개발하기 위해.
• 공격 대상의 알고리즘 내부 메커니즘을 사전에 알지 못하더라도 어떤 밴딧 알고리즘에도 작용하는 온라인 적응형 공격 전략을 설계하기 위해.
• 이러한 공격의 효과성과 비용 효율성을 이론적 분석과 수치 실험을 통해 평가하기 위해.

제안 방법

• 오프라인 공격를 볼록 최적화 문제로 수식화하여, 밴딧 알고리즘이 목표 손잡이를 높은 확률로 선택하도록 유도하는 최소한의 보상 변형을 결정한다.
• 이 최적화 프레임워크를 ε-그리디, UCB, 톰슨 샘플링의 세 가지 인기 있는 밴딧 알고리즘에 적용하여 알고리즘별 공격 전략을 유도한다.
• 실시간으로 밴딧 결정을 관찰하고 피드백 보상을 조작하여 알고리즘을 오도하는 적응형 보편적 온라인 공격 전략(ACE)을 제안한다.
• 공격 비용을 측정하기 위해 풀링 노력 비율을 사용한다: $ \frac{||\vec{\epsilon}||_{2}}{||\vec{y}||_{2}} $, 이는 변형의 상대적 크기를 측정한다.
• 시간-지속 기반의 공격 비용 모델을 활용하여, ACE가 $ T \to \infty $ 일지라도 $ O(\log T) $ 의 비용을 유지함을 보여주며, 동시에 선형 회귀를 유도한다.
• 성공 확률의 오차 허용치 $ \delta = 0.05 $ 를 기준으로, 다양한 밴딧 알고리즘과 보상 분포에서 시뮬레이션을 통해 공격 전략의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 오프라인 환경에서 데이터 풀링 공격를 볼록 최적화 문제로 효과적으로 수식화할 수 있는가? 이는 밴딧 학습 행동을 조작하는 데에 유용한가?
• RQ2 ε-그리디, UCB, 톰슨 샘플링에 대한 알고리즘별 오프라인 공격 전략은 목표 손잡이 선택을 얼마나 효과적으로 유도하는가?
• RQ3 어떤 밴딧 알고리즘에도 작용하는 보편적 온라인 공격 전략을 설계할 수 있는가? 이는 공격 대상 알고리즘의 내부 메커니즘을 사전에 알 필요가 없는가?
• RQ4 온라인 환경에서 공격 비용과 피해 밴딧 알고리즘의 결과적 회귀 사이의 트레이드오프는 어떠한가?
• RQ5 온라인 공격에서 공격 비용은 보상 갭 $ \Delta $ 와 시간 지속 $ T $ 에 따라 어떻게 변화하는가?

주요 결과

• 오프라인 공격 프레임워크는 ε-그리디, UCB, 톰슨 샘플링이 목표 손잡이를 최소 $ 1 - \delta $ 의 확률로 선택하도록 성공적으로 유도하며, 이는 매우 작은 변형만으로도 가능하다.
• ε-그리디, UCB, 톰슨 샘플링 공격의 풀링 노력 비율은 각각 10%, 2%, 5% 미만으로, 낮은 비용의 조작을 의미한다.
• 제안된 ACE 공격 전략은 피해 밴딧 알고리즘에 선형 회귀를 유도하면서도, 공격 대상 알고리즘의 내부 정보 없이도 $ O(\log T) $ 의 공격 비용을 유지한다.
• 온라인 공격에서 ACE는 시간이 지남에 따라 목표 손잡이의 선택 빈도를 크게 증가시킨다—특히 $ \Delta = 1 $ 일 경우, 이는 이론적 선형 회귀 결과를 확인한다.
• ACE 공격 비용은 UCB에 대한 알고리즘별 공격보다는 높지만, 보편적으로 효과적이며 일반성과 효율성 사이의 트레이드오프를 제공한다.
• 톰슨 샘플링과 ε-그리디는 UCB보다 공격 비용이 낮은 편이지만, 이는 최적의 손잡이로의 수렴 속도가 더 빠르기 때문에 보상 조작에 더 민감하게 반응하기 때문이다.