[논문 리뷰] RAID: Randomized Adversarial-Input Detection for Neural Networks

Hasan Ferit Enişer, Maria Christakis외 1명|arXiv (Cornell University)|2020. 02. 07.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 13

한 줄 요약

RAID는 일반적인 이미지와 악성 이미지 간의 뉴런 활성화 패턴의 차이를 식별함으로써 악성 입력을 탐지하는 새로운 강력한 대비 이미지 탐지 방법이다. 이 방법은 SADL 및 mMutant과 같은 최첨단 기법보다 6종의 공격 유형에 걸쳐 최대 88% 높은 성능을 보이며, P-RAID와 결합하면 탐지에 대비한 공격자에게도 효과를 유지하면서 저항력을 높일 수 있다.

ABSTRACT

In recent years, neural networks have become the default choice for image classification and many other learning tasks, even though they are vulnerable to so-called adversarial attacks. To increase their robustness against these attacks, there have emerged numerous detection mechanisms that aim to automatically determine if an input is adversarial. However, state-of-the-art detection mechanisms either rely on being tuned for each type of attack, or they do not generalize across different attack types. To alleviate these issues, we propose a novel technique for adversarial-image detection, RAID, that trains a secondary classifier to identify differences in neuron activation values between benign and adversarial inputs. Our technique is both more reliable and more effective than the state of the art when evaluated against six popular attacks. Moreover, a straightforward extension of RAID increases its robustness against detection-aware adversaries without affecting its effectiveness.

연구 동기 및 목표

• 다양한 공격 유형에 걸쳐 일반화 능력이 부족한 기존의 악성 탐지 방법의 문제를 해결하기 위해.
• 공격 유형에 맞는 하이퍼파라미터 조정 없이도 효과적으로 기능하는 탐지 메커니즘을 개발하기 위해.
• 탐지 기반 공격에 대비해 적응하는 공격자에 대비한 강건성을 향상시키기 위해.
• 실제 환경에 쉽게 구현할 수 있도록 단순하고 효과적이며 공개 가능한 탐지 프레임워크를 제공하기 위해.

제안 방법

• RAID는 무작위로 선택된 뉴런 부분집합의 활성화 값 차이를 바탕으로 정상 입력과 악성 입력을 구분하는 보조 분류기를 훈련한다.
• 일관성과 하이퍼파라미터 선택에 대한 민감도를 줄이기 위해 뉴런 선택에 고정된 난수 시드를 사용한다.
• 비록 노이즈가 미시적 수준이지만, 악성 입력은 정상 입력과는 다른 활성화 패턴을 유도한다는 관찰을 활용한다.
• P-RAID는 추론 시점에서 뉴런 선택 과정에 무작위성을 도입하여 적응형 공격자에 대한 강건성을 높인다.
• 기본 네트워크 아키텍처에 변경이 필요 없으며, 경량의 온라인 탐지기로 작동한다.
• 표준 평가 지표인 AUC 및 EER을 사용해 다양한 공격 유형과 데이터셋에서 탐지 메커니즘의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 조정 없이도 뉴런 활성도의 차이에 기반한 탐지 방법이 다양한 악성 공격 유형에 일반화될 수 있는가?
• RQ2 SADL 및 mMutant과 같은 최첨단 탐지 기법과 비교해 RAID의 성능과 안정성은 어떠한가?
• RQ3 RAID는 탐지 메커니즘을 공격 대상으로 삼는 적응형 공격자에게도 효과적으로 작용할 수 있는가?
• RQ4 뉴런 선택 과정의 무작위화가 탐지 강건성에 어떤 영향을 미치는가?
• RQ5 Carlini & Wagner (CW) 및 DeepFool (DF)와 같은 강력한 공격에 대해 RAID는 어떤 성능을 보이는가?

주요 결과

• RAID는 Carlini & Wagner (CW) 및 DeepFool (DF)와 같은 가장 강력한 공격에 대해 90% AUC 스코어를 기록하여 높은 탐지 성능을 입증했다.
• RAID는 6종의 인기 있는 악성 공격 유형에 걸쳐 SADL 및 mMutant보다 최대 88% 높은 탐지 효과성을 보였다.
• PGD, BIM 및 FGSM과 같은 약한 공격에 대해 RAID는 완벽한 탐지 성능(100% 재현율)을 달성했다.
• P-RAID 확장 기법은 탐지 효과성을 유지하면서도 탐지에 대비한 공격자에 대한 강건성을 크게 향상시켰다.
• RAID는 다양한 하이퍼파라미터 설정에서도 안정적인 성능을 보이며, 구성 설정에 대한 민감도가 낮다는 것을 보였다.
• RAID는 새로운 공격 유형에 대해서도 효과적으로 작용하여 강력한 일반화 능력을 보였다.