[논문 리뷰] Online Data Poisoning Attack

Xuezhou Zhang, Xiaojin Zhu외 1명|arXiv (Cornell University)|2019. 03. 05.

Network Security and Intrusion Detection참고 문헌 43인용 수 18

한 줄 요약

이 논문은 온라인 데이터 풀링 공격을 확률적 최적 제어 문제로 공식화하며, 향후 데이터나 데이터 분포를 알지 못하는 상황에서도 실시간으로 거의 최적의 공격을 생성할 수 있는 두 가지 방법—모델 예측 제어(MPC)와 딥 강화학습(DDPG)—을 제안한다. 실험 결과, 향후 데이터를 모두 알고 있는 클레어보이언트 공격자와 유사한 성능을 달성함으로써, 지도 및 비지도 온라인 학습 과제 전반에서 뛰어난 효과성을 입증한다.

ABSTRACT

We study data poisoning attacks in the online setting where training items arrive sequentially, and the attacker may perturb the current item to manipulate online learning. Importantly, the attacker has no knowledge of future training items nor the data generating distribution. We formulate online data poisoning attack as a stochastic optimal control problem, and solve it with model predictive control and deep reinforcement learning. We also upper bound the suboptimality suffered by the attacker for not knowing the data generating distribution. Experiments validate our control approach in generating near-optimal attacks on both supervised and unsupervised learning tasks.

연구 동기 및 목표

• 공격자가 도착하는 데이터를 실시간으로 조작하는 온라인 데이터 풀링 공격에 대한 이해 부족을 보완하기 위해.
• 부분 정보 하에서 공격자가 데이터 생성 분포나 향후 데이터 포인트를 알지 못하는 상황에서도 온라인 데이터 풀링을 확률적 최적 제어 문제로 모델링하기 위해.
• 데이터 생성 분포나 향후 데이터를 알지 못함에도 불구하고 거의 최적의 성능을 내는 실용적인 공격 알고리즘 개발을 위해.
• 실제 공격자와 향후 데이터 분포를 모두 알고 있는 클레어보이언트 공격자 간의 성능 격차를 이론적으로 한계화하기 위해.
• 제안된 방법을 합성 및 실제 데이터셋을 바탕으로 온라인 지도 및 비지도 학습 과제 전반에서 검증하기 위해.

제안 방법

• 공격자가 누적 비용을 최소화하면서 피해자 모델을 목표로 유도하기 위해 선택하는 편향을 최소화하는 온라인 데이터 풀링을 확률적 최적 제어 문제로 공식화한다.
• 유한한 봉인 시간 간격(horizon)을 가진 모델 예측 제어(MPC)를 사용하여 향후 데이터 예측 기반으로 공격를 계획하며, 즉각적 비용과 장기적 비용을 균형 잡는다.
• 관측된 상태(현재 데이터 및 모델)를 입력으로 받아 편향 조치를 출력하는 정책을 학습하는 데 딥 강화학습(DDPG)을 활용하여 적응적이고 실시간 공격 결정을 가능하게 한다.
• 큰 데이터 수정을 방지하기 위해 편향 비용 함수 $ g_{\text{per}}(\mathbf{z}_t, \mathbf{a}_t) = \|\mathbf{a}_t - \mathbf{z}_t\|_p $ 를 도입한다.
• 공격 목표를 표현하기 위해 악성 비용 $ g_{\text{nef}}(\theta) $ 를 정의한다. 예를 들어 특정 모델 $ \theta^\dagger $ 를 타겟으로 삼거나, 좋은 모델 $ \hat{\theta} $ 를 피하거나, 백도어 트리거를 활성화하는 것을 포함한다.
• 시간에 따라 할인되는 누적 보상 $ \tilde{J}(t) = \sum_{\tau=0}^{t} \gamma^{\tau} (g_{\text{nef}}(\theta_\tau) + g_{\text{per}}(\mathbf{z}_\tau, \mathbf{a}_\tau)) $ 를 사용하여 공격 성능을 시간 경과에 따라 평가한다.

실험 결과

연구 질문

• RQ1 공격자가 데이터 분포나 향후 데이터 포인트를 알지 못하는 상황에서 온라인 데이터 풀링을 어떻게 확률적 제어 문제로 최적화할 수 있는가?
• RQ2 실제 공격자가 향후 데이터 분포를 알고 있는 클레어보이언트 공격자와 얼마나 유사한 성능을 달성할 수 있는가?
• RQ3 모델 예측 제어와 딥 강화학습이 제한된 정보 하에서 온라인 학습 환경에서 거의 최적의 공격을 효과적으로 생성할 수 있는가?
• RQ4 그리디 전략, 단기적 전략, 장기 계획 전략 간의 누적 비용과 적응 가능성 측면에서 성능는 어떻게 비교되는가?
• RQ5 계산 자원 제약(예: 제한된 봉인 시간 간격)이 계획 기반 및 학습 기반 공격 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• 향후 데이터를 모두 알고 있는 클레어보이언트 공격자는 모든 10개의 실제 데이터셋에서 일관되게 가장 낮은 누적 비용을 기록하며, 이는 이론적으로 최적임을 확인한다.
• NLP(봉인 시간 계획) 방법은 충분히 큰 봉인 시간 간격($ h=80 $)을 가질 경우 10개 데이터셋 중 7개에서 클레어보이언트 공격자 수준의 성능을 달성하여 강력한 계획 수단의 효과를 입증한다.
• DDPG 기반 공격자는 대부분의 데이터셋에서 MPC 및 클레어보이언트 방법과 유사한 성능을 보이며, 명시적인 향후 지식 없이도 학습된 정책이 잘 일반화됨을 보여준다.
• GREEDY 방법은 NULL 기준선에 비해 약간의 향상만을 보이며, 장기적인 온라인 공격에서 단기적 전략이 효과가 없음을 확인한다.
• MPC와 DDPG는 전략적 행동을 보인다: 초기에 더 높은 편향 비용을 감수함으로써 $ t=50 $ 이후에 크게 낮아지는 장기적 공격 비용을 달성하며, 효과적인 장기 계획을 수행함을 시사한다.
• 계산 자원 제약으로 인해 봉인 시간 간격이 제한될 경우(예: $ h=20 $), DDPG는 단기적 NLP보다 성능이 뛰어나, 자원 제약 하에서 학습된 정책이 반복적 계획보다 더 잘 적응함을 보여준다.