[논문 리뷰] On the Effectiveness of Mitigating Data Poisoning Attacks with Gradient Shaping

Sanghyun Hong, Varun Chandrasekaran외 3명|arXiv (Cornell University)|2020. 02. 26.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 70

한 줄 요약

논문은 데이터 오염에 대한 공격-에 구애받지 않는 방어로서 그래디언트 모양(shape)화를 제안하고, 그래디언트 크기를 제한하고 그래디언트 방향을 정렬하여 업데이트에 대한 오염 영향을 완화하며, 여러 모델과 작업에서 실용적 그래디언트 shaping 도구로 DP-SGD를 평가한다.

ABSTRACT

Machine learning algorithms are vulnerable to data poisoning attacks. Prior taxonomies that focus on specific scenarios, e.g., indiscriminate or targeted, have enabled defenses for the corresponding subset of known attacks. Yet, this introduces an inevitable arms race between adversaries and defenders. In this work, we study the feasibility of an attack-agnostic defense relying on artifacts that are common to all poisoning attacks. Specifically, we focus on a common element between all attacks: they modify gradients computed to train the model. We identify two main artifacts of gradients computed in the presence of poison: (1) their $\ell_2$ norms have significantly higher magnitudes than those of clean gradients, and (2) their orientation differs from clean gradients. Based on these observations, we propose the prerequisite for a generic poisoning defense: it must bound gradient magnitudes and minimize differences in orientation. We call this gradient shaping. As an exemplar tool to evaluate the feasibility of gradient shaping, we use differentially private stochastic gradient descent (DP-SGD), which clips and perturbs individual gradients during training to obtain privacy guarantees. We find that DP-SGD, even in configurations that do not result in meaningful privacy guarantees, increases the model's robustness to indiscriminate attacks. It also mitigates worst-case targeted attacks and increases the adversary's cost in multi-poison scenarios. The only attack we find DP-SGD to be ineffective against is a strong, yet unrealistic, indiscriminate attack. Our results suggest that, while we currently lack a generic poisoning defense, gradient shaping is a promising direction for future research.

연구 동기 및 목표

• 공격에 특화된 방어에 의존하는 것을 도전하고 데이터 오염에 대한 공격-에 구애받지 않는 방어를 모색한다.
• indiscriminate 및 targeting 공격에 걸쳐 오염된 데이터의 공통된 그래디언트 수준 시그니처를 식별한다.
• 그래디언트 모 Magnitudes를 제한하고 방향을 정렬하는 방어 원칙으로 그래디언트 형태화를 제안하여 포이즌 인지를 완화한다.

제안 방법

• 다양한 포이징 시나리오에서 불량 샘플과 깨끗한 샘플 간의 크기와 방향을 비교하기 위해 학습 중 그래디언트를 분석한다.
• 특징 충돌(feature collision) 및 특징 삽입(feature insertion)을 사용해 포이즌을 제작하여 그래디언트에 미치는 영향을 연구한다.
• 포이즌과 깨끗한 그래디언트 간의 크기 비와 코사인 유사도 등을 이용해 그래디언트 수준의 차이를 평가한다.
• 실용 도구로서 차등 프라이버시를 갖는 확률적 경사 하강법(DP-SGD)을 이용한 그래디언트 형태화를 구현한다.
• 여러 모델과 작업에서 비식별 및 타깃 포이징 공격에 대한 DP-SGD의 효과를 평가한다.
• 일반적인 방어로서 그래디언트 형태화의 한계와 가능성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 포이즈닝 시나리오 전반에서 포이즈된 그래디언트가 깨끗한 그래디언트에 비해 일관되게 더 큰 크기와 다른 방향을 보이는가?
• RQ2 DP-SGD를 통해 구현된 그래디언트 형태화가 정화 없이도 그래디언트 수준의 차이를 줄이고 데이터 포이즌에 대한 강건성을 향상시킬 수 있는가?
• RQ3 다양한 모델 유형과 데이터세트에서 무작위적 포이즈와 타깃 포이즈 공격에 대해 그래디언트 형태화가 얼마나 효과적인가?

주요 결과

• 포이즈된 그래디언트는 일반적으로 깨끗한 그래디언트보다 크기가 크고 방향이 다를 수 있으며, 포이즌 강도가 증가할수록 차이가 커진다.
• 그래디언트 형태화는 업데이트에 대한 포이즌 영향력을 제한하기 위해 크기 차이와 방향 차이를 줄이는 것을 목표로 한다.
• DP-SGD는 비식별 공격에 대한 강건성을 높이고 프라이버시 보장 수준이 약할 때도 표적 공격을 완화할 수 있다.
• 강력하고 비현실적인 무작위 포이즈 공격에 대해서는 DP 옵티마이저를 통한 그래디언트 형태화가 효과가 없을 수 있어 이 접근법의 한계를 시사한다.
• 세 가지 모델과 데이터셋에 걸쳐 DP-SGD가 다중 포이즈 설정에서 강인성 개선과 공격자의 비용 증가를 제공했다.
• 이 연구는 일반적인 방어를 개발하기 위한 추가 연구가 필요한 유망한 방향으로 그래디언트 형태화를 확인한다.