[논문 리뷰] Adversarial Learning: A Critical Review and Active Learning Study

David J. Miller, Xinyi Hu외 2명|arXiv (Cornell University)|2017. 05. 27.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 6

한 줄 요약

이 논문은 결정 경계 근처에 오염된 샘플을 주입하는 적대적 공격에 대비하기 위해 액티브 러닝에서 혼합 샘플 선택 전략을 제안한다. 실험적으로 불확실성 샘플링과 최대 기대 효용(MEU) 샘플링을 조합함으로써 이러한 공격에 대한 강건성이 향상됨을 입증하였으며, MNIST 숫자 분류에서 p=0.75일 때 가장 안정적이고 정확한 수렴을 달성한다.

ABSTRACT

This papers consists of two parts. The first is a critical review of prior art on adversarial learning, identifying some significant limitations of previous works. The second part is an experimental study considering adversarial active learning and an investigation of the efficacy of a mixed sample selection strategy for combating an adversary who attempts to disrupt the classifier learning.

연구 동기 및 목표

• 결정 경계 근처에 오염된 샘플을 주입하는 적대적 공격이 분류기 성능을 떨어뜨리는 데 미치는 취약성을 조사하기 위해.
• 이러한 적대적 조작에 대비한 혼합 샘플 선택 전략의 효과성을 평가하기 위해.
• 적대적 조건 하에서 액티브 러닝의 강건성과 수렴 정확도 간의 트레이드오���을 분석하기 위해.
• 공격 패tern이나 레이블이 부여된 적대적 예제에 대한 사전 지식 없이도 방어 메커니즘이 가능할지 탐색하기 위해.

제안 방법

• p를 매개변수로 하여 탐색과 이용의 균형을 이루는 혼합 전략을 제안하며, 불확실성 샘플링(p=0)과 최대 기대 효용(MEU, p=1)을 조합한다.
• MNIST 데이터에서 훈련된 선형 SVM 분류기를 사용하여 숫자 '5'와 '6'을 구분하는 데를 적대적 공격의 시험대상으로 삼는다.
• 기존의 훈련 및 미레이블링된 샘플을 현재의 결정 경계에 투영하여 모호하고 경계를 넘는 예측을 유도하는 적대적 샘플을 생성한다.
• 최대 마진 분離 원칙에 부합하는 일관성을 확보하기 위해 전체 데이터셋으로 훈련된 오라클(SVM)을 사용해 적대적 샘플을 레이블링한다.
• 10회의 무작위 시험을 통해 평균 테스트 오차를 메트릭으로 사용하여, 공격 유무 조건 하에서 전략 간 성능을 비교한다.
• 다양한 전략의 수렴 행동과 클래스 균형 영향을 분석하며, 특히 MEU의 클래스 편향 샘플링 성향에 초점을 맞춘다.

Figure 1 : Candidate adversarial samples (green dots on the boundary)

실험 결과

연구 질문

• RQ1 결정 경계 근처에 오염된 샘플이 주입될 경우 액티브 러닝에서 불확실성 샘플링의 취약성은 어떠한가?
• RQ2 공격 패턴에 대한 사전 지식 없이도 불확실성 샘플링과 MEU 샘플링의 혼합 전략이 적대적 공격에 대해 강건성을 향상시킬 수 있는가?
• RQ3 혼합 매개변수 p의 변화가 공격 조건 하에서 액티브 러닝의 정확도와 수렴 안정성에 미치는 영향은 어떠한가?
• RQ4 MEU 샘플링은 클래스 불균형으로 인해 최적의 결정 경계를 도출하지 못할 수 있으며, 이러한 문제는 하이브리드 전략으로 완화될 수 있는가?
• RQ5 공격 조건 하에서 랜덤 샘플링의 성능은 적응형 전략과 비교해 어떻게 다를까?

주요 결과

• 불확실성 샘플링(p=0)은 적대적 공격에 매우 취약하며, 항상 주입된 적대적 샘플을 선택하여 공격 조건에서 가장 열 劣한 성능을 보인다.
• MEU 샘플링(p=1)은 초기 오차 감소 속도가 가장 빠르지만, 특히 공격 조건에서 클래스 편향 샘플링으로 인해 최적의 결정 경계에 수렴하지 못한다.
• p ∈ [0.25, 0.75] 범위의 혼합 전략은 공격 조건 하에서 성능이 단조롭게 향상되며, p=0.75일 때 가장 안정적이고 정확한 수렴을 달성한다.
• 랜덤 샘플링 전략은 공격에 강건하지만, 공격이 없는 조건에서는 높은 정확도에 수렴하지 못하여 학습 효율성이 열 劣하다.
• 공격이 없는 조건에서는 모든 혼합 전략이 유사하게 성능을 보이며, 이는 방어 메커니즘이 공격 조건에서만 유의미한 이점을 제공한다는 것을 확인한다.
• 고차원 설정인 MNIST와 비교해 저차원의 합성 예제에 비해 공격이 학습 진전을 더 크게 지연시키며, 이는 실제 세계의 위협 심각성을 강조한다.

Figure 2 : Classifier decision boundary after initial training and after 9 queries without attack (dash lines) and with attack (solid lines).