[논문 리뷰] SentiNet: Detecting Localized Universal Attacks Against Deep Learning Systems

Chou Edward, Tramer Florian외 1명|arXiv (Cornell University)|2018. 12. 01.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

SentiNet은 모델 해석 가능성과 객체 검출을 활용하여 정상 이미지에서의 오분류 가능성을 검증함으로써, 물리적 패치, 트로이안 모델, 데이터 오염과 같은 국소화된 보편적 적대적 공격을 탐지하는 공격에 관계없는 방어 프레임워크이다. 이는 사전 공격 지식이나 모델 재학습 없이도 높은 탐지 정확도를 달성한다.

ABSTRACT

SentiNet is a novel detection framework for localized universal attacks on neural networks. These attacks restrict adversarial noise to contiguous portions of an image and are reusable with different images -- constraints that prove useful for generating physically-realizable attacks. Unlike most other works on adversarial detection, SentiNet does not require training a model or preknowledge of an attack prior to detection. Our approach is appealing due to the large number of possible mechanisms and attack-vectors that an attack-specific defense would have to consider. By leveraging the neural network's susceptibility to attacks and by using techniques from model interpretability and object detection as detection mechanisms, SentiNet turns a weakness of a model into a strength. We demonstrate the effectiveness of SentiNet on three different attacks -- i.e., data poisoning attacks, trojaned networks, and adversarial patches (including physically realizable attacks) -- and show that our defense is able to achieve very competitive performance metrics for all three threats. Finally, we show that SentiNet is robust against strong adaptive adversaries, who build adversarial patches that specifically target the components of SentiNet's architecture.

연구 동기 및 목표

• 공격 벡터에 대한 사전 지식이 없이도 다양한 물리적으로 실현 가능한 적대적 공격에 대해 딥 뉴럴 네트워크를 방어하는 도전 과제를 해결한다.
• 기존 공격에 특화되거나 서명 기반 방어 방식의 한계를 극복하여, 새로운 또는 적응형 공격에 대해 실패하지 않는다.
• 특히 적대적 영역의 강건성과 일반화 능력을 탐지 신호로 활용하여, 모델의 내재된 취약점을 악용하는 탐지 메커니즘을 개발한다.
• 적대자가 탐지 구성 요소를 적응적으로 공격할 경우에도 방어가 효과적으로 유지되도록 보장한다.
• 실제 실생활 환경에서 실시간으로 구현 가능한 탐지 기능을 제공하여, 손상된 모델과 손상되지 않은 모델 모두에 적용 가능하도록 한다.

제안 방법

• 분류 결정에 큰 영향을 미치는 연속적인 중요도가 높은 영역을 식별하기 위해 클래스 활성화 맵(CAM) 및 기타 모델 해석 기법을 사용한다.
• 객체 검출 방법을 적용하여 이러한 고중요도 영역을 일반적인 영향력 있는 특징과 구분한다.
• 각 검출된 중요도 높은 영역을 대량의 보류된 정상 이미지에 겹쳐 놓고, 대상 분류기에서의 오분류 빈도를 평가한다.
• 유해한 영역는 정상 이미지에서의 오분류 비율이 일반적인 영역보다 유의미하게 높을 경우로 분류한다.
• 특정 공격 메커니즘에 종속되지 않고, 공격의 보편성과 국소화 성격에만 의존하는 탐지 파이프라인을 설계한다.
• 모델 미세조정 없이도 실시간, 저지연 작동이 가능한 인퍼런스 파이프라인에 탐지 과정을 통합한다.

실험 결과

연구 질문

• RQ1 사전 공격 지식이나 모델 재학습 없이도 방어는 국소화된 보편적 적대적 공격을 탐지할 수 있는가?
• RQ2 중요도 기반 탐지와 일반화 테스트를 조합하여 악성과 양성의 고영향 영역를 효과적으로 구분할 수 있는가?
• RQ3 적대자가 SentiNet의 아키텍처 구성 요소를 공격 목적으로 설계할 경우 SentiNet의 성능은 얼마나 견고한가?
• RQ4 SentiNet은 실제 세계에서 배포된 물리적으로 실현 가능한 적대적 패치를 탐지할 수 있는가?
• RQ5 SentiNet은 데이터 오염, 트로이안 공격, 적대적 패치와 같이 근본적으로 다른 공격 유형에 대해 높은 탐지 성능 유지를 유지하는가?

주요 결과

• SentiNet은 데이터 오염, 트로이안 네트워크, 적대적 패치를 포함한 세 가지의 다른 공격 유형에 대해 높은 탐지 정확도를 달성한다. 이는 물리적으로 실현 가능한 패치까지 포함된다.
• 실제 물리적 환경에서 인쇄된 적대적 패치를 높은 신뢰도로 성공적으로 탐지하여 실용적인 구현 가능성을 입증한다.
• 적대자가 SentiNet의 아키텍처 구성 요소를 공격적으로 목표로 삼는 강력한 적응형 공격 상황에서도 방어가 효과적인데, 이는 중요도를 낮추면 공격의 보편성이 깨지기 때문이다.
• SentiNet은 모델 재학습이나 공격에 대한 사전 지식이 필요 없어 기존에 존재하는, 잠재적으로 손상된 모델에도 적용 가능하다.
• 시야각, 조명, 이미지 내용의 변동성에 대해 강건한데, 이는 타깃으로 삼는 공격 영역의 보편성 덕분이다.
• 이 방법은 모델이 적대적 예제에 취약한 점을 탐지의 이점으로 전환하여, 모델의 본질적인 동작 방식을 보안 원천으로 활용한다.