[논문 리뷰] A Unified Framework for Data Poisoning Attack to Graph-based Semi-supervised Learning

Xuanqing Liu, Si Si외 3명|arXiv (Cornell University)|2019. 10. 30.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 33

한 줄 요약

논문은 Graph-based Semi-Supervised Learning(G-SSL)에서 데이터 오염 공격을 위한 통합 프레임워크를 제시하며, L2 제약 하의 회귀 및 L0 제약하의 분류에 특화된 알고리즘과 공격 효과를 보여주는 광범위한 실험.

ABSTRACT

In this paper, we proposed a general framework for data poisoning attacks to graph-based semi-supervised learning (G-SSL). In this framework, we first unify different tasks, goals, and constraints into a single formula for data poisoning attack in G-SSL, then we propose two specialized algorithms to efficiently solve two important cases --- poisoning regression tasks under $\\ell_2$-norm constraint and classification tasks under $\\ell_0$-norm constraint. In the former case, we transform it into a non-convex trust region problem and show that our gradient-based algorithm with delicate initialization and update scheme finds the (globally) optimal perturbation. For the latter case, although it is an NP-hard integer programming problem, we propose a probabilistic solver that works much better than the classical greedy method. Lastly, we test our framework on real datasets and evaluate the robustness of G-SSL algorithms. For instance, on the MNIST binary classification problem (50000 training data with 50 labeled), flipping two labeled data is enough to make the model perform like random guess (around 50\\% error).

연구 동기 및 목표

• 그래프 기반 반지도 학습(G-SSL)에서 데이터 오염 공격에 대한 일반 프레임워크를 도입한다.
• 오염 프레임워크에서 회귀와 분류 작업을 모두 다룬다.
• 다른 제약 설정(L2 회귀, L0 분류) 하에서 효율적인 알고리즘을 개발한다.
• 화이트박스 및 불완전 지식 시나리오를 탐구하고 G-SSL의 강건성을 평가한다.

제안 방법

• 통합 목표(Eq. 2) 내에서 학습 레이블 또는 특징에 대한扰动으로 데이터 오염을 모델링한다.
• 레이블 전파 예측에 대한 닫힌 형태를 도출하고 오염을 회귀 및 분류의 tractable 하위 문제로 축소한다.
• 회귀의 경우: 전역 최솟값으로 수렴하는 그래디언트 기반 해법으로 비볼록 트러스트-리짐 문제를 해결한다(Algorithm 1).
• 분류의 경우: NP-hard 이산 문제로 변환하고 재매개변화 및 확률적 그래디언트(식 7–10)를 이용한 확률적(relaxation) 해를 적용한다.
• ||3b1||2 정규화 및 확률적 해법에서 top-cmax 선택을 통해 희소성과 예산 제약을 가능하게 한다.
• 실제 데이터셋에서 RMSE 및 오류율에 대한 공격 영향을 평가한다.

실험 결과

연구 질문

• RQ1 G-SSL 방법은 학습 중 데이터 오염에 얼마나 취약한가?
• RQ2 그래프 기반 SSL 하에서 회귀와 분류 작업을 체계적으로 통합하고 공격할 수 있는가?
• RQ3 L2 및 L0 유형 제약하에서 최적 또는 근사 최적의扰动을 효율적으로 찾는 알고리즘은 무엇인가?
• RQ4 공격자가 완전한 지식인지 혹은 불완전한 지식인지가 공격 효과에 어떤 영향을 미치는가?
• RQ5 레이블링된 데이터의 크기와 커널 매개변수에 따라 오염에 대한 강건성은 어떻게 달라지는가?

주요 결과

• 소규모扰动이 G-SSL 성능을 크게 악화시킬 수 있다(예: MNIST 이진 작업에서 두 개의 라벨링 포인트를 뒤집는 것이 무작위 추측과 비슷하게 만듦).
• 회귀 오염 접근법은 L2 제약 하에서 전역 최적에 근접한扰动을 대수적으로 선형 시간의 그래디언트 방법으로 달성한다.
• 분류 오염 문제는 확률적 해법이 탐욕적 기저선보다 우수한 이점을 제공하며, 특히 c_max가 커질수록 그렇다.
• 공격자가 비레이블 처리된 라벨을 정확히 알지 못하더라도 추정된 라벨을 사용해 영향력 손실이 적은 수준으로 여전히 효과적이다.
• 레이블이 늘어날수록 정보가 레이블 노드에서 전달되므로 오염에 대한 강건성이 향상된다.