[논문 리뷰] Detecting Adversarial Examples through Nonlinear Dimensionality Reduction

Francesco Crecchi, Davide Bacciu외 1명|arXiv (Cornell University)|2019. 04. 30.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 10

한 줄 요약

이 논문은 딥 네ural 네트워크의 특징 공간에서 자연 입력과 적대적 입력을 분리하기 위해 비선형 차원 축소를 위해 t-SNE를 사용하는 다층 적대적 예외 검출기를 제안한다. 자연 및 적대적 샘플의 t-SNE 투영에 기반해 검출기를 훈련시킴으로써, 이 방법은 높은 검출 정확도를 달성한다—FGSM, BIM, PGD 공격 하에서 MNIST에서는 0.8 이상, CIFAR10에서는 0.7 이상의 분류기 정확도 유지를 유지하며, 비적응형 공격자에 대해 효과적임을 입증한다.

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, i.e., carefully-perturbed inputs aimed to mislead classification. This work proposes a detection method based on combining non-linear dimensionality reduction and density estimation techniques. Our empirical findings show that the proposed approach is able to effectively detect adversarial examples crafted by non-adaptive attackers, i.e., not specifically tuned to bypass the detection method. Given our promising results, we plan to extend our analysis to adaptive attackers in future work.

연구 동기 및 목표

• 딥 네럴 네트워크의 적대적 예외에 대한 취약성을 해결하기 위해, 특히 안전이 중요한 응용 분야에서.
• 기본 분류기를 재학습하지 않고도, 만델로이드를 이탈한 적대적 입력을 식별하고 거부하는 검출 기반 방어를 개발하기 위해.
• 고차원 표현에서 적대적 예외가 자연 데이터의 만델로이드 외부에 위치한다는 것을 보여줌으로써, 만델로이드 가설을 검증하기 위해.
• t-SNE 투영을 활용해 여러 네트워크 레이어에서 자연 및 적대적 샘플을 구분할 수 있는 다층 검출기를 설계하기 위해.
• 모든 에포크 동안 적대적 샘플을 재학습이 필요한 적대적 훈련과는 대비해, 검출기 설정 시에만 한 번의 적대적 샘플 생성이 필요한 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• 이 방법은 고차원 신경 활성화를 2차원 또는 3차원 저차원 공간으로 투영하기 위해 t-SNE를 사용하여, 자연 및 적대적 샘플이 분리 가능한 공간을 확보한다.
• 모니터링되는 각 레이어에 Layer Detector (LD)를 부착하며, Mapper(t-SNE 기반)와 Estimator(밀도 추정기)를 사용해 각 샘플의 클래스 확률을 계산한다.
• 검출기는 레이어 간 확률 점수를 데이터 시리즈로 집계하며, MultilayerDetector (MLD)가 이 시리즈를 분석하여 적대적 입력을 나타내는 이질적인 경향을 탐지한다.
• Mapper 구성 요소를 훈련하기 위해 Carlini-Wagner 공격를 사용해 적대적 샘플을 한 번만 생성하며, 이는 FGSM, BIM, PGD와 같은 다른 공격에 대한 일반화를 가능하게 한다.
• MLD는 이질적인 패턴이 감지되면 분류기의 출력을 특수한 '적대적' 클래스(N+1)로 대체하여, 변형된 입력을 거부함으로써 보장을 확보한다.
• 이 방법은 레이어 간 전체 확률 점수 시퀀스를 통합된 신호로 간주하며, 적대적 예외가 레이어 간에 일관되지 않고 낮은 신뢰도를 보임을 이용한다.

실험 결과

연구 질문

• RQ1 t-SNE 기반의 비선형 차원 축소는 딥 네럴 네트워크의 특징 공간에서 자연 및 적대적 예외를 효과적으로 분리할 수 있는가?
• RQ2 t-SNE 투영과 확률 추세 분석에 기반한 다층 검출기 아키텍처는 단일 레이어 방법에 비해 적대적 예외 검출 성능을 향상시키는가?
• RQ3 Carlini-Wagner 공격에 의해 훈련된 검출기가, 다른 공격 알고리즘(FGSM, BIM, PGD 등)으로 생성된 적대적 예외를 일반화하여 탐지할 수 있는가?
• RQ4 강력한 변형이 가해진 적대적 예외를 거부하면서도, 깨끗한 입력과 약간의 변형이 가해진 입력에 대해 분류기 정확도를 어느 정도 유지하는가?
• RQ5 비적응형 공격자에 대해 이 방법은 얼마나 효과적인가? 그리고 적응형 적대자에 대비해 어떤 한계를 지닌다?

주요 결과

• FGSM, BIM, PGD 공격 하에서 L2 노름 변형이 가해진 상황에서 MNIST 데이터셋에서는 분류기 정확도가 0.8 이상, CIFAR10에서는 0.7 이상 유지된다.
• 자연 및 적대적 샘플을 혼합해 훈련한 t-SNE 투영은 두 클래스를 명확한 클러스터로 분리함으로써, 만델로이드 가설을 확인한다.
• 레이어 간 확률 점수 추세는 자연 샘플과 적대적 샘플 간에 뚜렷한 차이를 보인다: 자연 샘플은 진짜 클래스에 대해 일관되고 높은 신뢰도를 보이는 반면, 적대적 샘플은 낮고 일관되지 않은 점수를 보인다.
• 이 방법은 적대적 샘플 생성을 검출기 훈련 시에 한 번만 요구하며, 모든 에포크에 걸쳐 적대적 샘플을 재학습이 필요한 적대적 훈련과는 대비된다.
• Mapper 훈련 시 사용된 공격 알고리즘과 다른 공격 알고리즘으로 생성된 적대적 예외도 성공적으로 식별하고 거부함으로써, 일반화 능력을 입증한다.
• 보안 평가 곡선은 검출기가 강력한 저항력을 향상시키며, 변형 강도가 증가함에 따라 정확도를 높게 유지함을 보여준다.