[논문 리뷰] Near Optimal Adversarial Attacks on Stochastic Bandits and Defenses with Smoothed Responses

Shiliang Zuo|arXiv (Cornell University)|2020. 08. 21.

Advanced Bandit Algorithms Research참고 문헌 5인용 수 12

한 줄 요약

이 논문은 확률적 다중 손잡이 밴딧 환경에서 Upper Confidence Bound (UCB) 알고리즘에 대한 근사 최적의 적대적 공격 전략을 제안한다. 여기서 공격자는 보상에 조작을 가해 학습자가 목표 손잡이를 T−o(T)번 선택하도록 유도한다. 이 공격은 누적 비용으로 Õ(√log T)을 기록하며, log log T 요소를 제외한 측면에서 최초로 증명된 하한선과 일치하여, 최소한의 조작으로 UCB를 조작하는 데 있어 근사 최적성을 입증한다.

ABSTRACT

I study adversarial attacks against stochastic bandit algorithms. At each round, the learner chooses an arm, and a stochastic reward is generated. The adversary strategically adds corruption to the reward, and the learner is only able to observe the corrupted reward at each round. Two sets of results are presented in this paper. The first set studies the optimal attack strategies for the adversary. The adversary has a target arm he wishes to promote, and his goal is to manipulate the learner into choosing this target arm $T - o(T)$ times. I design attack strategies against UCB and Thompson Sampling that only spend $\widehat{O}(\sqrt{\log T})$ cost. Matching lower bounds are presented, and the vulnerability of UCB, Thompson sampling, and $\varepsilon$-greedy are exactly characterized. The second set studies how the learner can defend against the adversary. Inspired by literature on smoothed analysis and behavioral economics, I present two simple algorithms that achieve a competitive ratio arbitrarily close to 1.

연구 동기 및 목표

• 확률적 다중 손잡이 밴딧 설정에서 UCB 알고리즘이 적대적 공격에 얼마나 취약한지 조사하기 위해.
• 학습자가 거의 모든 T라운드 동안 비최적의 목표 손잡이를 선택하도록 유도하면서도 누적 조작 비용을 최소화하는 새로운 공격 전략을 설계하기 위해.
• 이 설정에서 누적 공격 비용에 대한 최초의 이론적 하한선을 설정하기 위해.
• 제안된 공격이 하한선과 O(log log T) 요소를 제외한 측면에서 일치함으로써 근사 최적성을 입증하기 위해.
• 기존 작업 [4]와의 비교를 통해 수치 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 공격자는 학습자가 선택한 손잡이와 진짜 보상을 관찰한 후, 보상 rₜ⁰에 전략적 조작 αₜ를 삽입한다.
• 공격 전략은 αₜ의 크기와 부호를 정교하게 조절하여 UCB의 신뢰구간을 조작함으로써 목표 손잡이의 우월성을 확보한다.
• 진짜 평균이 낮더라도 목표 손잡이의 추정 평균이 비목표 손잡이들보다 높게 유지되도록 보장한다.
• 이 방법은 UCB의 신뢰구간 너비 성질과 농도 불등식을 활용하여 목표 손잡이의 지배성을 유지한다.
• 비목표 손잡이의 선택 횟수를 제한하기 위한 새로운 분석 프레임워크를 개발하여, 이들이 o(T)번 이하로만 선택됨을 보여준다.
• 모순 증명을 기반으로 UCB의 샘플링 규칙과 학습자를 오도할 필요 조건을 활용하여 이론적 하한선을 유도한다.

실험 결과

연구 질문

• RQ1 UCB 알고리즘이 비최적의 목표 손잡이를 T−o(T)번 선택하도록 유도하기 위해 필요한 최소 누적 공격 비용은 얼마인가?
• RQ2 이전 작업 [4]에 비해 공격 비용을 줄일 수 있는 더 효율적인 공격 전략을 설계할 수 있는가?
• RQ3 제안된 공격 비용은 근사 최적이며, 더 이상 향상시킬 수 있는가?
• RQ4 보상 분산 σ²과 손잡이 간 평균 갭 Δ에 따라 공격 성능은 어떻게 변하는가?
• RQ5 공격 비용의 상한선과 일치하는 이론적 하한선을 설정할 수 있는가?

주요 결과

• 제안된 공격은 누적 조작 비용으로 Õ(Kσ√log T + ∑ₐ≠ₖ Δₐ⁺)을 기록하며, [4]의 O(log T) 비용에 비해 √log T 요소로 향상된다.
• 공격은 높은 확률로 UCB 학습자가 목표 손잡이를 T−o(T)라운드 동안 선택하도록 성공적으로 유도한다.
• 누적 공격 비용에 대한 최초의 이론적 하한선이 확립되었으며, 이는 상한선과 O(log log T) 요소를 제외한 측면에서 일치한다.
• 수치 실험을 통해 이론적 결과가 확인되었으며, 비목표 손잡이는 10⁶라운드 중 단 한 번만 선택됨을 보여, 근사 최적성을 검증한다.
• 공격 비용은 [4]의 방법보다 크게 낮다: μ=2, σ=0.1일 때 비용은 247.3에서 3.6으로 감소하여 68배 향상됨을 보여준다.
• 결과는 UCB가 ε-그리디와 같은 무작위 대안에 비해 적대적 조작에 매우 취약함을 시사하며, 후자는 더 강건함을 보인다.