[논문 리뷰] Adversarial Learning in Statistical Classification: A Comprehensive Review of Defenses Against Attacks

David J. Miller, Zhen Xiang외 1명|arXiv (Cornell University)|2019. 04. 12.

Adversarial Robustness in Machine Learning참고 문헌 93인용 수 22

한 줄 요약

이 논문은 딥 뉴럴 네트워크 분류기에서의 적대적 학습 방어 기법에 대한 종합적인 서베이를 제공하며, 테스트 시기 회피 공격, 데이터 풀링 공격, 백도어 공격, 역공학적 공격을 분석한다. 기술적 평가를 통해 기존의 통념을 도전하고, 통계적 검출을 회피하는 의미적 통합성 공격(예: '대체 사실')과 같은 공격의 어려움을 부각시킨다.

ABSTRACT

There is great potential for damage from adversarial learning (AL) attacks on machine-learning based systems. In this paper, we provide a contemporary survey of AL, focused particularly on defenses against attacks on statistical classifiers. After introducing relevant terminology and the goals and range of possible knowledge of both attackers and defenders, we survey recent work on test-time evasion (TTE), data poisoning (DP), and reverse engineering (RE) attacks and particularly defenses against same. In so doing, we distinguish robust classification from anomaly detection (AD), unsupervised from supervised, and statistical hypothesis-based defenses from ones that do not have an explicit null (no attack) hypothesis; we identify the hyperparameters a particular method requires, its computational complexity, as well as the performance measures on which it was evaluated and the obtained quality. We then dig deeper, providing novel insights that challenge conventional AL wisdom and that target unresolved issues, including: 1) robust classification versus AD as a defense strategy; 2) the belief that attack success increases with attack strength, which ignores susceptibility to AD; 3) small perturbations for test-time evasion attacks: a fallacy or a requirement?; 4) validity of the universal assumption that a TTE attacker knows the ground-truth class for the example to be attacked; 5) black, grey, or white box attacks as the standard for defense evaluation; 6) susceptibility of query-based RE to an AD defense. We also discuss attacks on the privacy of training data. We then present benchmark comparisons of several defenses against TTE, RE, and backdoor DP attacks on images. The paper concludes with a discussion of future work.

연구 동기 및 목표

• 딥 뉴럴 네트워크 분류기에서의 적대적 공격에 대비한 최근 방어 기법을 서베이하고 기술적으로 평가하는 것.
• 강건한 분류와 이상 탐지 방식을 방어 전략으로서 구분하고 그 효과성을 평가하는 것.
• 적대적 기계 학습 분야에서 일반적으로 공유되는 가정, 예를 들어 더 강력한 공격이 항상 더 효과적이라는 믿음 등을 도전하는 것.
• 표준 평가 프레임워크의 한계를 탐구하며, 블랙박스 대비 화이트박스 가정을 포함한다.
• 의미적 통합성 공격, 예를 들어 '대체 사실'이나 통계 분석을 회피하는 데이터 조작의 탐지 방법을 탐색하는 것.

제안 방법

• 적대적 공격을 네 가지 유형으로 분류: 테스트 시기 회피(TTE), 데이터 풀링(DP), 백도어 DP, 역공학적 공격(RE).
• 기술적 기준을 사용해 방어 기법을 평가: 하이퍼파라미터 요구 사항, 계산 복잡도, 성능 지표, 강건성.
• BIC를 사용한 통계적 가설 검정을 통해 이상 탐지 수행하며, 귀무가설(정상 데이터) 대 대안가설(이상 데이터) 분포 모델링.
• 벌점 부여된 로그우도를 통한 모델 선택 기법을 활용해 테스트 데이터 내 이상 클러스터 탐지, 특히 데이터 풀링 공격 탐지에 유용.
• 의미적 통합성 공격 탐지에 있어 데이터 기원 추적 및 암호화 기법(예: 블록체인)이 필수적이라고 제안.
• 이미지 데이터셋에서 TTE, RE, 백도어 공격에 대한 방어 기법을 벤치마크 기반으로 비교하며 실제 적용 가능성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 강건한 분류와 이상 탐지는 적대적 공격에 대비한 방어 전략으로서 어떻게 비교될 수 있는가?
• RQ2 공격 강도를 높일수록 항상 성공률이 높아지는가, 아니면 이상 탐지에 의해 감지 가능성과의 트레이드오���이 존재하는가?
• RQ3 작은 변형이 효과적인 테스트 시기 회피 공격을 위해 반드시 필요하다는 가정은 타당한가, 아니면 오해인가?
• RQ4 실제 환경에서 테스트 시기 회피 공격자들이 입력의 진짜 클래스를 알고 있다는 가정은 어느 정도 타당한가?
• RQ5 방어의 강건성을 평가하기 위해 가장 적절한 위협 모델은 블랙박스, GRAY박스, 화이트박스 중 무엇인가?

주요 결과

• 이상 탐지 기반 방어는 TTE, DP, RE 공격에 효과적이지만, '대체 사실'과 같은 의미적 통합성 공격에는 실패한다.
• BIC 기반 모델 선택 기반 통계적 방어는 정상 기준 데이터셋이 확보된 경우 데이터 풀링 공격을 탐지할 수 있다.
• 테스트 시기 회피 공격에서 작은 변형이 반드시 필요하지는 않으며, 일부 공격은 더 크고 더 쉽게 감지 가능한 변화로도 성공할 수 있다.
• 공격자가 입력의 진짜 클래스를 안다는 가정은 종종 비현실적이며, 실제 환경에서 공격 성공률를 과도하게 평가할 수 있다.
• 쿼리 기반의 역공학적 공격은 이상 탐지에 취약하며, 특히 공격자가 정상 데이터 패턴에서 벗어나면 더욱 그렇다.
• 의미를 크게 변화시키는(예: 문서에서 한 단어만 변경) 의미적 공격은 통계적 방법만으로는 매우 어려운 탐지가 필요하며, 이에 따라 암호화 기반 기원 추적 기법이 필수적이다.