[논문 리뷰] Adversarial Examples Detection in Deep Networks with Convolutional Filter Statistics

Xin Li, Fuxin Li|arXiv (Cornell University)|2016. 12. 22.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 17

한 줄 요약

이 논문은 깊이 신경망의 여러 층에서 컨볼루션 필터 통계를 분석하여 적대적 예제를 탐지하는 경량이며 비하향미분 가능한 캐스케이드 분류기를 제안한다. 이는 85% 이상의 탐지 정확도를 달성하고, 단순한 3×3 평균 필터를 사용해 73%의 적대적 예제를 복구할 수 있으며, 다양한 적대적 공격 방법에 대해 강건한 일반화 성능을 보여준다.

ABSTRACT

Deep learning has greatly improved visual recognition in recent years. However, recent research has shown that there exist many adversarial examples that can negatively impact the performance of such an architecture. This paper focuses on detecting those adversarial examples by analyzing whether they come from the same distribution as the normal examples. Instead of directly training a deep neural network to detect adversarials, a much simpler approach was proposed based on statistics on outputs from convolutional layers. A cascade classifier was designed to efficiently detect adversarials. Furthermore, trained from one particular adversarial generating mechanism, the resulting classifier can successfully detect adversarials from a completely different mechanism as well. The resulting classifier is non-subdifferentiable, hence creates a difficulty for adversaries to attack by using the gradient of the classifier. After detecting adversarial examples, we show that many of them can be recovered by simply performing a small average filter on the image. Those findings should lead to more insights about the classification mechanisms in deep convolutional neural networks.

연구 동기 및 목표

• 안전 중심 응용 분야에서 깊이 신경망을 손상시킬 수 있는 신뢰할 수 있는 적대적 예제 탐지의 필수적 필요성을 해결하기 위해.
• 재학습이 필요 없이 다양한 적대적 공격 메커니즘에 대해 강건한 탐지 방법을 개발하기 위해.
• 중간 컨볼루션 레이어 통계를 분석하여 깊이 신경망의 내부 동작 방식에 대한 통찰을 제공하기 위해.
• 모델 정확도를 유지하면서도 실용적인 복구 기법을 탐색하기 위해.

제안 방법

• 사전 학습된 CNN의 여러 층에서 컨볼루션 필터 출력의 단순 통계적 특징(예: 평균, 분산)을 추출한다.
• 이 필터 통계를 기반으로 캐스케이드 분류기를 학습시어 정상 입력과 적대적 예제를 구분한다.
• 분류기는 한 가지 공격 방법(예: L-BFGS)으로 생성된 적대적 예제를 기반으로 학습하고, 다른 공격 방법(예: EA)으로 생성된 예제를 테스트하여 제로샷 일반화를 가능하게 한다.
• 기울기 기반 최적화를 피하기 위해 비하향미분 가능성을 유지함으로써, 탐지기 자체를 공격하는 데에 저항성이 있다.
• 감지된 적대적 예제에 작은 3×3 평균 필터를 적용하여 局부적인 편향을 제거함으로써 이미지 복구를 수행한다.
• 모델이 불확실성이 높을 경우 예측을 회피하는 자기 인식 학습 전략을 통합하여 안전성을 향상시킨다.

실험 결과

연구 질문

• RQ1 중간 컨볼루션 레이어 출력에서 도출된 단순 통계가 정상 입력과 적대적 예제를 효과적으로 구분할 수 있는가?
• RQ2 한 가지 적대적 생성 방법으로 학습된 탐지기가 다른 완전히 다른 공격 메커니즘에서 생성된 적대적 예제를 일반화하여 탐지할 수 있는가?
• RQ3 단순한 학습이 없는 이미지 처리 기법을 사용해 얼마나 많은 적대적 편향을 복구할 수 있는가?
• RQ4 최신 기술 대비 제안된 방법의 성능는 어떻게 비교되는가?
• RQ5 탐지 및 복구 파이프라인은 실세계 구현에서 깊이 신경망의 강건성과 안전성을 향상시킬 수 있는가?

주요 결과

• 제안된 캐스케이드 분류기는 여러 데이터셋과 공격 유형에서 85% 이상의 적대적 예제를 탐지한다.
• 탐지기는 효과적으로 일반화된다: L-BFGS로 생성된 적대적 예제로 학습된 모델은 미세조정 없이도 EA-adversarials를 성공적으로 탐지한다.
• 감지된 적대적 예제에 3×3 평균 필터를 적용하면 상위 5개 정확도 기준으로 분류 정확도를 73.0%까지 복구할 수 있다.
• 더 큰 필터(예: 5×5 평균 필터)를 사용할 경우 복구 성능이 약간 떨어지며(68.0% 정확도), 필터 크기에 민감함을 보여준다.
• 이 방법은 적대적 편향이 종종 局부적으로 분포되어 있으며, 단순한 공간 스무딩 기법으로 제거될 수 있음을 시사하며, 현재 네트워크 설계의 취약점을 드러낸다.
• 결과는 현재의 깊이 신경망이 작은 국소적 편향에 과도하게 민감하다는 것을 시사하며, 더 큰 수신장 또는 다른 정규화 전략이 필요함을 강조한다.