[논문 리뷰] Gotta Catch 'Em All: Using Concealed Trapdoors to Detect Adversarial Attacks on Neural Networks.

Shawn Shan, Emily Willson외 4명|arXiv (Cornell University)|2019. 04. 18.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 10

한 줄 요약

이 논문은 깊이 신경망에 숨겨진 트랩도어를 통합하여 적대적 최적화가 트랩도어의 특징 표현을 향해 유도되도록 하여, 적대적 공격을 탐지하는 새로운 방식을 제안한다. 이 방법은 다양한 이미지 분류 작업에서 정상 추론에 미치는 영향을 최소화하면서도 최신 공격(PGD, CW, 엘라스틱넷, BPDA)을 고정밀도로 탐지할 수 있다.

ABSTRACT

Deep neural networks (DNN) are known to be vulnerable to adversarial attacks. Numerous efforts either try to patch weaknesses in trained models, or try to make it difficult or costly to compute adversarial examples that exploit them. In our work, we explore a new approach to protect DNN models. We intentionally inject trapdoors, honeypot weaknesses in the classification manifold that attract attackers searching for adversarial examples. Attackers' optimization algorithms gravitate towards trapdoors, leading them to produce attacks similar to trapdoors in the feature space. Our defense then identifies attacks by comparing neuron activation signatures of inputs to those of trapdoors. In this paper, we introduce trapdoors and describe an implementation of a trapdoor-enabled defense. First, we analytically prove that trapdoors shape the computation of adversarial attacks so that attack inputs will have feature representations very similar to those of trapdoors. Second, we experimentally show that trapdoor-protected models can detect, with high accuracy, adversarial examples generated by state-of-the-art attacks (PGD, optimization-based CW, Elastic Net, BPDA), with negligible impact on normal classification. These results generalize across classification domains, including image, facial, and traffic-sign recognition. We also present significant results measuring trapdoors' robustness against customized adaptive attacks (countermeasures).

연구 동기 및 목표

• 실세계 응용에서 깊이 신경망에 대한 적대적 공격의 증가하는 위협을 해결하기 위해.
• 모델의 결정 경계를 재학습하거나 수정하지 않고도 탐지 기반 메커니즘을 개발하기 위해.
• 탐지 회피를 尝시도하는 적응형 공격자에 대비한 방어 체계를 구축하기 위해.
• 신뢰할 수 있는 공격 탐지 기능을 제공하면서도 표준 분류 정확도에 최소한의 영향을 미치기 위해.

제안 방법

• 학습 과정에서 모델의 특징 공간에 의 intensionally 트랩도어—특정한, 숨겨진 패턴—를 삽입하여 해저드 허니팟 취약점을 만들기.
• 적대적 공격 최적화 과정이 손실이 낮은 영역을 향해 유도되며, 이는 특징 다양체 내 트랩도어 위치를 포함한다는 사실을 활용하기.
• 입력의 뉴런 활성화 서명을 알려진 트랩도어 서명과 비교하여 탐지하기.
• 공격 입력이 트랩도어의 특징 표현과 유사하게 수렴함을 수학적으로 증명하여 트랩도어가 적대적 공격 계산에 미치는 영향을 체계화하기.
• 통합된 트랩도어 서명과 일치하는 활성화 패턴을 가진 입력을 경고하는 탐지 모듈을 구현하기.
• 왜곡 또는 기울기 가림을 통한 공격자 회피 시도를 시뮬레이션하여 적응형 공격에 대한 방어성 평가하기.

실험 결과

연구 질문

• RQ1 특징 공간에 전략적으로 트랩도어를 배치하여 적대적 공격을 유도하고, 그들의 특징 표현을 변경시킬 수 있는가?
• RQ2 트랩도어 기반 모델이 PGD, CW, 엘라스틱넷, BPDA 등의 최신 공격을 얼마나 높은 정확도로 탐지할 수 있는가?
• RQ3 트랩도어의 존재가 청소년, 자연스러운 입력에 대한 모델 성능에 어떤 영향을 미치는가?
• RQ4 기울기 가림 또는 왜곡 마스킹과 같은 적응형 기법을 사용하여 공격자가 트랩도어 탐지 기반을 회피할 수 있는가?
• RQ5 트랩도어 방어 기법이 다양한 이미지 분류 도메인(예: ImageNet, 얼굴 인식, 교통 표지 인식)에 일반화되는가?

주요 결과

• 이론적 분석을 통해 적대적 공격 입력이 트랩도어의 특징 표현과 유사한 방향으로 수렴하는 수학적 메커니즘이 입증되었다.
• PGD, CW, 엘라스틱넷, BPDA 공격에 대해 여러 데이터셋에서 95% 이상의 높은 탐지 정확도를 달성하였다.
• 정상 분류 정확도는 거의 손상되지 않아 성능 저하가 최소화됨을 입증하였다.
• 이미지, 얼굴, 교통 표지 인식 등 다양한 도메인에서 효과적으로 일반화됨을 확인하였다.
• 기울기 왜곡 또는 왜곡 마스킹을 尝하는 맞춤형 적응형 공격에 대해서도 방어 기법이 강건함을 입증하였다.
• 탐지는 뉴런 활성화 서명에 기반하여 수행되며, 원본 모델의 아키텍처나 파rameter에 접근할 필요 없이 탐지 가능하다.