[논문 리뷰] Adversarial Attacks on Adversarial Bandits

Yuzhe Ma, Zhijin Zhou|arXiv (Cornell University)|2023. 01. 30.

Advanced Bandit Algorithms ResearchDecision Sciences인용 수 3

한 줄 요약

이 논문은 손실 신호를 왜곡하여 $T-o(T)$ 라운드 동안 목표로 하는 열열하지 않은 암을 선택하도록 유도하는 적대적 공격을 제안한다. 이 공격은 누적 공격 비용이 $o(T)$ 이내로 유지되며, 피해자에 무관하게 작동하며, 회귀율을 안다는 점만으로도 가능하다. 이는 공격 비용에 대한 상한선과 일치하는 하한선을 증명함으로써 점점 더 최적임을 입증한다.

ABSTRACT

We study a security threat to adversarial multi-armed bandits, in which an attacker perturbs the loss or reward signal to control the behavior of the victim bandit player. We show that the attacker is able to mislead any no-regret adversarial bandit algorithm into selecting a suboptimal target arm in every but sublinear (T-o(T)) number of rounds, while incurring only sublinear (o(T)) cumulative attack cost. This result implies critical security concern in real-world bandit-based systems, e.g., in online recommendation, an attacker might be able to hijack the recommender system and promote a desired product. Our proposed attack algorithms require knowledge of only the regret rate, thus are agnostic to the concrete bandit algorithm employed by the victim player. We also derived a theoretical lower bound on the cumulative attack cost that any victim-agnostic attack algorithm must incur. The lower bound matches the upper bound achieved by our attack, which shows that our attack is asymptotically optimal.

연구 동기 및 목표

• 공격자가 보상(손실) 신호를 오염시킴으로써 적대적 밴딧 알고리즘의 취약성을 조사한다.
• 모든 회귀율이 없는 밴딧 알고리즘을 공격하여 특정한 열열하지 않은 암을 선택하도록 유도하는 피해자에 무관한 공격을 설계한다.
• 이러한 조작을 위해 필요한 최소 누적 공격 비용에 대한 이론적 경계를 설정한다.
• Exp3 및 ExpRb와 같은 표준 및 강건한 밴딧 알고리즘에 대한 공격의 효과를 평가한다.

제안 방법

• 공격자는 내부 알고리즘을 알지 못한 채 매 라운드의 손실 신호를 왜곡하여 밴딧 플레이어가 목표 암을 선호하도록 유도한다.
• 공격 전략은 피해자의 회귀율을 하위선형으로 유지하면서도 $T-o(T)$ 라운드 동안 목표 암이 선택되도록 보장한다.
• 알려진 회귀율 $O(T^\alpha)$ 를 기반으로 왜곡의 크기와 시기를 정밀하게 조절함으로써 공격 비용을 $o(T)$ 로 유지한다.
• 누적 공격 비용에 대한 이론적 하한선을 유도하여, 피해자에 무관한 공격가가 $T-o(T)$ 라운드 동안 목표 암 선택을 더 낮은 비용으로 달성할 수는 없다는 것을 보여준다.
• 공격자의 예산이 다양할 때 Exp3 및 강건한 ExpRb 알고리즘에 대해 공격를 실증적으로 평가한다.

(a) $T-N_{T}(a^{\dagger})$ of ( 5 ).

실험 결과

연구 질문

• RQ1 공격자가 어떤 회귀율이 없는 적대적 밴딧 알고리즘을 공격하여 대부분의 라운드에서 특정한 열열하지 않은 암을 선택하도록 유도할 수 있는가?
• RQ2 모든 피해자에 무관한 공격에서 $T-o(T)$ 라운드 동안 목표 암 선택을 달성하기 위해 필요한 최소 누적 공격 비용은 얼마인가?
• RQ3 ExpRb와 같이 보상 오염에 저항하도록 설계된 강건한 밴딧 알고리즘에 대해 공격의 성능은 어떠한가?
• RQ4 제안된 공격은 공격 비용 측면에서 점점 더 최적인가?

주요 결과

• 공격는 어떤 회귀율이 없는 적대적 밴딧 알고리즘이라도 $T-o(T)$ 라운드 동안 목표 암을 선택하도록 성공적으로 유도하며, 누적 공격 비용은 $o(T)$ 이내로 유지된다.
• 유도된 하한선과 제안된 방법이 달성한 상한선이 일치하므로 공격는 점점 더 최적이다.
• 실증 결과는 공격가가 공격 비용을 $\Phi = T^{0.5}, T^{0.7}, T^{0.9}$ 로 설정했을 때 각각 $1.40\times10^5$, $3.62\times10^5$, $5.15\times10^5$ 로 유지하면서 표준 Exp3 및 강건한 ExpRb 알고리즘 모두에 효과적으로 작용함을 보여준다.
• 라운드당 공격 비용은 각각 $0.14$, $0.36$, $0.51$ 이며, 공격자의 예산이 클수록 증가함을 보여주며, 이는 ExpRb가 더 큰 예산에서 더 높은 강건성을 보임을 시사한다.
• 공격자는 피해자가 ExpRb와 같은 강건한 알고리즘을 사용할 경우에도 효과적으로 작용하며, 이는 기존 방어 조치가 적응적이고 피해자에 무관한 공격에 대해 충분하지 않을 수 있음을 보여준다.

(b) $C_{T}$ of ( 5 ).