[논문 리뷰] Data Poisoning Attacks against Online Learning

Yizhen Wang, Kamalika Chaudhuri|arXiv (Cornell University)|2018. 08. 27.

Adversarial Robustness in Machine Learning참고 문헌 2인용 수 55

한 줄 요약

본 논문은 온라인 학습에 대한 데이터 포이즈닝 공격을 형식화하고, 스트리밍 데이터를 오염시키기 위한 최적화 기반 전략을 제안하며, 반온라인 및 완전 온라인 설정에서의 효과를 평가한다.

ABSTRACT

We consider data poisoning attacks, a class of adversarial attacks on machine learning where an adversary has the power to alter a small fraction of the training data in order to make the trained classifier satisfy certain objectives. While there has been much prior work on data poisoning, most of it is in the offline setting, and attacks for online learning, where training data arrives in a streaming manner, are not well understood. In this work, we initiate a systematic investigation of data poisoning attacks for online learning. We formalize the problem into two settings, and we propose a general attack strategy, formulated as an optimization problem, that applies to both with some modifications. We propose three solution strategies, and perform extensive experimental evaluation. Finally, we discuss the implications of our findings for building successful defenses.

연구 동기 및 목표

• 데이터가 스트리밍으로 도달하는 온라인 학습 설정에서 데이터 포이즈닝 연구의 필요성을 제기한다.
• 반온라인 및 완전 온라인 공격 설정을 형식화하고 공격자 목표를 정의한다.
• 온라인 그래디언트 하강 업데이트에 적응하는 최적화 기반 공격 전략을 개발한다.
• 데이터 순서와 학습률이 공격 효과에 미치는 영향을 분석한다.
• 방어의 시사점과 잠재적 강건한 온라인 학습 방법에 대해 논의한다.

제안 방법

• 스트리밍 데이터와 볼록 손실 함수 및 정규화를 갖는 온라인 그래디언트 하강으로 온라인 학습을 모델링한다.
• 실현 가능한 집합 F 하에서 스트림에서 최대 K 포인트를 수정하도록 공격자 최적화를 형식화한다.
• 세 가지 공격 패러다임을 도입한다: Incremental Attack, Interval Attack, Teach-and-Reinforce Attack.
• 필요에 따라 레이블 반전(label inversion)을 적용하고 그래디언트 기반 최적화를 가능하게 하기 위해 목적 함수를 완만하게 한다.
• 온라인 업데이트를 처리하기 위해 연쇄 법칙을 사용하여 재발 접두(prefix) 형식으로 그래디언트를 계산한다.
• 다양한 학습률 규칙 하에서 반온라인 및 완전 온라인 설정으로 네 가지 데이터세트에 대해 공격을 평가한다.

실험 결과

연구 질문

• RQ1 적대적 행위자가 데이터 스트림의 소량을 수정하여 온라인 학습에서 데이터를 효과적으로 오염시킬 수 있는가?
• RQ2 온라인 설정(반온라인 대 완전온라인)과 학습률이 데이터 포이즈닝 공격의 강도에 어떻게 영향을 미치는가?
• RQ3 다른 설정에서 데이터 스트림의 어느 부분에서 공격 수정이 가장 큰 영향을 미치는가?
• RQ4 그래디언트 기반 온라인 공격이 온라인 학습에서 망각적(oblivious) 또는 레이블 반전(label-flip) 기준선보다 성능이 우수한가?
• RQ5 스트리밍 분류기에 대한 온라인 데이터 포이즈닝 위협을 완화할 수 있는 방어책은 무엇인가?

주요 결과

• 온라인 적대자는 포이즈닝된 온라인 학습에서 망각적(oblivious)이나 레이블 반전 기준선보다 현저히 우수한 성능을 보인다.
• 공격 효과는 학습률에 의존하며, 빠르게 감소하는 학습률일수록 포이즈닝에 더 취약하다.
• 반온라인 설정이 일반적으로 이러한 공격에 대해 완전 온라인 설정보다 더 취약하다.
• Incremental Attack와 Interval Attack은 일반적으로 반온라인에서 더 효과적이며, Teach-and-Reinforce는 완전 온라인 시나리오에서 뛰어나다.
• 공격 위치 패턴은 데이터세트와 설정에 따라 다르며, 일부 경우에는 스트림의 끝(end-of-stream) 강조, 다른 경우에는 시작(beginning-of-stream) 강조가 나타난다.
• 합성 데이터(synthetic), MNIST, Spambase 등 다양한 데이터세트에서 그래디언트 기반 온라인 공격이 여전히 효과적이며, 온라인 특성이 주요 취약점임을 시사한다.