[논문 리뷰] SentiNet: Detecting Physical Attacks Against Deep Learning Systems

Edward Chou, Florian Tramèr외 2명|arXiv (Cornell University)|2018. 12. 04.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 84

한 줄 요약

SentiNet은 공격 유형에 관계없이 모델의 해석 가능성과 객체 검출을 활용하여 국소적이고 보편적인 대비 공격(예: 물리적 패치 및 데이터 오염)을 탐지하는 새로운 프레임워크이다. 공격에 대한 사전 지식이나 재학습이 필요하지 않으며, 적대적인 공격자들이 탐지 회피를 위해 패치를 설계하는 데에도 강건하다. 다양한 공격 유형에 대해 뛰어난 성능을 보이며, 적응형 공격자에 대해서도 강건하다.

ABSTRACT

SentiNet is a novel detection framework for localized universal attacks on neural networks. These attacks restrict adversarial noise to contiguous portions of an image and are reusable with different images -- constraints that prove useful for generating physically-realizable attacks. Unlike most other works on adversarial detection, SentiNet does not require training a model or preknowledge of an attack prior to detection. Our approach is appealing due to the large number of possible mechanisms and attack-vectors that an attack-specific defense would have to consider. By leveraging the neural network's susceptibility to attacks and by using techniques from model interpretability and object detection as detection mechanisms, SentiNet turns a weakness of a model into a strength. We demonstrate the effectiveness of SentiNet on three different attacks -- i.e., data poisoning attacks, trojaned networks, and adversarial patches (including physically realizable attacks) -- and show that our defense is able to achieve very competitive performance metrics for all three threats. Finally, we show that SentiNet is robust against strong adaptive adversaries, who build adversarial patches that specifically target the components of SentiNet's architecture.

연구 동기 및 목표

• 딥 뉴럴 네트워크에 대한 물리적으로 실현 가능한 국소적 보편적 적대적 공격을 탐지하는 과제를 해결하기 위해.
• 공격에 대한 사전 지식이나 모델 재학습이 필요 없는 방어 메커니즘을 개발하기 위해.
• 탐지 기반 방어를 회피하기 위해 공격을 특별히 설계한 적응형 공격자에 대비한 탐지 프레임워크를 만들기 위해.
• 적대적 패치, 데이터 오염, 트로이안 모델 등 다양한 공격 유형으로 일반화하기 위해.

제안 방법

• SentiNet은 예측에 가장 영향을 미치는 영역을 식별하기 위해 클래스 활성화 맵(CAM)을 사용한다.
• 의심스럽고 높은 활성화 영역을 국소화하기 위해 객체 검출 기법을 적용한다. 이는 적대적 흐름에 해당할 수 있다.
• 프레임워크는 신경망의 주의 메커니즘을 잠재적 공격의 지표로 간주하여, 모델의 취약성을 탐지 신호로 전환한다.
• 해석 가능성 맵과 객체 검출을 결합하여 다양한 입력에서 국소적이고 재사용 가능한 적대적 노이즈를 탐지한다.
• 시스템은 모듈러하고 공격 유형에 관계없는 방식으로 설계되어 특정 공격 패tern이나 학습 데이터에 의존하지 않는다.
• 적응형 공격자에 의해 탐지 구성 요소를 회피하도록 최적화된 패치를 대비하여 평가된다.

실험 결과

연구 질문

• RQ1 사전 지식이나 모델 재학습 없이 국소적 보편적 적대적 공격을 탐지할 수 있는 프레임워크는 가능한가?
• RQ2 SentiNet은 다양한 모델과 데이터셋에서 물리적으로 실현 가능한 적대적 패치를 얼마나 효과적으로 탐지하는가?
• RQ3 SentiNet은 탐지 기반 방어를 회피하기 위해 공격을 특별히 설계한 적응형 공격자에 대해 어느 정도 강건한가?
• RQ4 해석 가능성 기반 탐지 방식은 데이터 오염 및 모델 트로이언링과 같은 다양한 공격 유형으로 일반화될 수 있는가?
• RQ5 탐지 정확도와 강건성 측면에서 SentiNet의 성능은 공격 유형에 특화된 방어 기법과 비교해 어떻게 되는가?

주요 결과

• SentiNet은 적대적 패치, 데이터 오염, 트로이안 모델의 세 가지 다른 공격 유형에 대해 경쟁적인 탐지 성능을 달성한다.
• 패치가 탐지 회피를 위해 최적화되어 있더라도, SentiNet은 물리적으로 실현 가능한 적대적 패치를 성공적으로 탐지한다.
• SentiNet은 탐지 구성 요소를 우회하기 위해 특별히 설계된 패치를 가진 강력한 적응형 공격자에게도 강건하다.
• 재학습이나 공격에 대한 사전 지식이 필요 없어, 실세계 적용에 널리 적용 가능하고 실용적이다.
• 모델의 해석 가능성과 객체 검출을 활용함으로써, SentiNet은 모델의 취약성을 탐지 이점으로 전환한다.
• 공격 유형에 특화된 서명이나 학습 데이터에 의존하지 않고도 높은 탐지 정확도를 보여준다.