[논문 리뷰] Adversarial Attacks on Stochastic Bandits

Kwang-Sung Jun, Lihong Li외 2명|arXiv (Cornell University)|2018. 10. 29.

Advanced Bandit Algorithms Research인용 수 51

한 줄 요약

논문은 확률적 다팔 밴디트에서 보상 조작 공격을 시연하며, 진정한 평균을 모르는 상태에서도 ε-greedy와 UCB 학습자가 목표 팔을 선호하도록 공격 비용이 로그 규모에 불과한 상태로 에이전트를 강제로 이끈다는 것을 보인다.

ABSTRACT

We study adversarial attacks that manipulate the reward signals to control the actions chosen by a stochastic multi-armed bandit algorithm. We propose the first attack against two popular bandit algorithms: $ε$-greedy and UCB, \emph{without} knowledge of the mean rewards. The attacker is able to spend only logarithmic effort, multiplied by a problem-specific parameter that becomes smaller as the bandit problem gets easier to attack. The result means the attacker can easily hijack the behavior of the bandit algorithm to promote or obstruct certain actions, say, a particular medical treatment. As bandits are seeing increasingly wide use in practice, our study exposes a significant security threat.

연구 동기 및 목표

• 권고된 추천, 광고, 의학 결정 등에 사용되는 확률적 MAB를 대상으로 한 잠재적 적대적 공격을 연구하여 신뢰할 수 있는 온라인 학습의 필요성을 자극한다.
• 세 명의 에이전트 모델(world, 밴디트의 Bob, 공격자 Alice)을 정의하고 보상 조작 공격을 형식화한다.
• 지식이 없는 공격자가 서브선형 공격 비용으로 대중적인 밴디트에 대해 거의 오라클 공격에 필적할 수 있음을 보인다.
• 이론적 보증과 실증 검증을 제공하는 ε-greedy 및 UCB에 대한 공격 전략을 제시한다.
• 이러한 공격에 대한 보안 함의와 방어를 위한 방향을 논의한다.

제안 방법

• 보상 공격 정의: r_t = r_t^0 - α_t 로 두고 α_t 를 공격으로 본다.
• 공격 비용과 성공을 특징짓고 목표 팔 K 를 O(T) 번 끌어들이고 총 공격 비용을 O(log T)로 설정한다.
• 진짜 평균 μ_i 를 모르는 상태에서 작동하는 ε-greedy 및 UCB용 공격 알고리즘을 개발한다.
• β(N) = sqrt( (2σ^2/N) log(π^2 K N^2 / (3δ)) ) 와 같은 수렴 용어를 사용하여 고확률 경계(bound)를 도출한다.
• 로그-후회 알고리즘 하에서 누적 공격 비용이 ε-greedy의 경우 O(sum_i Δ_i log T) 이고 UCB에 대한 해당 바운드가 존재한다는 것을 증명한다.
• 비용이 Δ_i, σ, T 와 함께 확장되는 코레이롤리 및 고정 매개변수 분석을 제공한다.

실험 결과

연구 질문

• RQ1 공 online 공격자가 팔의 평균을 모르는 상태에서 확률적 밴디트를 조작하여 목표 팔을 과도하게 끌어들일 수 있는가?
• RQ2 보상 조작 하에서 ε-greedy와 UCB의 공격 전략과 비용 보장은 무엇인가?
• RQ3 시간 수평선 T, 보상 차 Δ_i, 서브가우시안 파라미터 σ에 대해 공격 비용은 어떻게 확장되는가?
• RQ4 실용적 가정 하에서도 이러한 공격이 성립하는가, 방어에 어떤 시사점이 있는가?
• RQ5 경험적 결과가 이론적 한계를 어떻게 뒷받침하는가?

주요 결과

• 공격자가 목표 팔을 거의 모든 라운드에서 끌어당기도록 만들 수 있으며 누적 공격 비용은 T의 로그 규모로 증가한다.
• 일반적인 ε_t ~ 1/t인 경우, 공격 비용은 Õ((Σ_i Δ_i) log T + σ K sqrt(log T))로 확장된다.
• UCB의 경우 공격은 목표 팔을 강제하는 데 Õ((Σ_i (Δ_i+Δ_0)) log T + σ 항들)의 비용이 필요하고, 고정 예산 설정에서 Σ_i Δ_i에 독립적인 비용을 달성한다.
• μ_i 를 아는 오라클 같은 공격은 실제로는 비현실적이며, 따라서 μ_i 지식 없이 적응적 공격의 영향에 의존한다.
• 경험적 시뮬레이션은 이론적 주장과 일치하며 공격 비용의 로그 성장을 보이고 목표 팔 끌어당김을 거의 완전히 확인한다.