[논문 리뷰] Detecting Adversarial Examples via Key-based Network

Pinlong Zhao, Zhouyu Fu외 3명|arXiv (Cornell University)|2018. 06. 02.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 8

한 줄 요약

이 논문은 오류 보정 출력 부호를 통해 이진 분류기들을 랜덤 레이블 부분집합에 대해 훈련시켜 악성 예측 예제를 식별하는 검출 기반 방어 기법인 키 기반 네트워크를 제안한다. 기존 방법과 달리 악성 훈련 데이터가 필요로 하지 않으며, 랜덤화된 인코딩 체계 덕분에 다양한 공격에 강건하며, 정상 이미지에서 정확도 손실가 최소화된 채로 높은 검출률을 달성한다.

ABSTRACT

Though deep neural networks have achieved state-of-the-art performance in visual classification, recent studies have shown that they are all vulnerable to the attack of adversarial examples. Small and often imperceptible perturbations to the input images are sufficient to fool the most powerful deep neural networks. Various defense methods have been proposed to address this issue. However, they either require knowledge on the process of generating adversarial examples, or are not robust against new attacks specifically designed to penetrate the existing defense. In this work, we introduce key-based network, a new detection-based defense mechanism to distinguish adversarial examples from normal ones based on error correcting output codes, using the binary code vectors produced by multiple binary classifiers applied to randomly chosen label-sets as signatures to match normal images and reject adversarial examples. In contrast to existing defense methods, the proposed method does not require knowledge of the process for generating adversarial examples and can be applied to defend against different types of attacks. For the practical black-box and gray-box scenarios, where the attacker does not know the encoding scheme, we show empirically that key-based network can effectively detect adversarial examples generated by several state-of-the-art attacks.

연구 동기 및 목표

• 비정상적인 편향이 있는 편집된 이미지로 인해 모델이 오류를 범할 수 있는 딥 뉴럴 네트워크의 취약성을 해결하기 위해.
• 악성 예측 예제 생성 과정에 대한 사전 지식이 필요로 하지 않는 방어 메커니즘을 개발하기 위해.
• 블랙박스 및 GRAY박스 설정을 포함한 다양한 공격 유형에서 악성 예측 예제를 탐지할 수 있도록 하기 위해.
• 정상 입력에서 높은 정확도를 유지하면서 동시에 악성 입력을 효과적으로 거부할 수 있도록 하기 위해.
• 키 기반 네트워크와 표준 네트워크 간의 레이블 예측 겹침을 최소화하여 전이 기반 공격에 강건한 방어 설계를 하기 위해.

제안 방법

• 키 기반 네트워크는 랜덤으로 선택된 레이블 부분집합 쌍에 대해 훈련된 다수의 이진 분류기를 사용하여 각 클래스에 고유한 이진 코드 벡터(서명)를 생성한다.
• 각 클래스는 훈련된 이진 분류기의 예상 출력 기반으로 이진 벡터로 인코딩되어 해당 클래스의 서명을 형성한다.
• 추론 단계에서 모델은 테스트 이미지의 출력 코드를 계산하고 저장된 클래스 서명과 비교한다; 코드가 일치하지 않으면 악성 입력으로 간주된다.
• 이 방법은 오류 보정 출력 부호(ECOC)를 활용하여 강건성을 향상시키고, 미세한 코드 불일치 상황에서도 탐지 기능을 유지할 수 있도록 한다.
• 인코딩 체계는 랜덤하게 선택되며 비밀 유지되므로 공격자가 역으로 분석하거나 탐지를 피하기가 어렵다.
• 기존 네트워크에 플러그인 방식으로 적용되며, 로짓과 소프트맥스 레이어를 키 기반 코드 매핑으로 대체함으로써 원래 아키텍처를 유지한다.

실험 결과

연구 질문

• RQ1 악성 예측 예제 생성 과정에 대한 지식이 없이도 검출 기반 방어가 효과적일 수 있는가?
• RQ2 오류 보정 출력 부호 기반의 랜덤 인코딩 체계가 다양한 악성 공격에 대해 강건성을 향상시킬 수 있는가?
• RQ3 키 기반 네트워크는 정상 입력에서 높은 정확도를 유지하면서도 악성 예측 예제를 효과적으로 탐지할 수 있는가?
• RQ4 키 기반 네트워크는 다른 모델에서 전이 기반 공격에 얼마나 저항하는가?
• RQ5 코드 길이의 변동에 따라 탐지 성능이 얼마나 민감하게 영향을 받는가?

주요 결과

• 블랙박스 설정에서 FGSM 공격에 대해 98.5%의 검출률을 기록했고, DeepFool 공격에 대해서는 96.7%의 검출률을 달성하여 뛰어난 일반화 성능을 입증했다.
• 랜덤 입력에서 키 기반 네트워크와 베이스라인 모델 간의 예측 겹침은 0%에 불과하여 상관관계가 최소화되고 전이 공격에 강건함을 시사한다.
• 정상 이미지에 랜덤 노이즈를 가한 경우, 키 기반 네트워크와 베이스라인 모델 간의 예측 겹침은 19.48%로, 다른 베이스라인보다 유의미하게 낮아 입력-출력 매핑의 차별성이 뚜렷함을 나타낸다.
• 정상 이미지에서 정확도 손실가 최소화되었으며, 다양한 네트워크 아키텍처(예: Baseline2, Baseline3, Baseline4)에서 유의미한 하락이 관찰되지 않았다.
• 다양한 코드 길이에서 탐지 성능이 안정적이었고, 급격한 향상 또는 감소가 관찰되지 않아 코드 길이 선택에 대해 강건함을 입증했다.
• 이 프레임워크는 아키텍처에 관계없이 다양한 딥 뉴럴 네트워크에 적용 가능하며, 기존 모델 아키텍처를 수정하지 않아도 된다.