[논문 리뷰] The Taboo Trap: Behavioural Detection of Adversarial Samples

Ilia Shumailov, Yiren Zhao외 2명|arXiv (Cornell University)|2018. 11. 18.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 10

한 줄 요약

이 논문은 구성 가능한 변환 함수(예: 백분위수 클리핑 등)를 사용하여 훈련 중에 DNN 활성화 행동을 제한함으로써 적대적 샘플을 탐지하는 경량의 행동 기반 방어인 Taboo Trap을 소개한다. 이는 거의 영향을 주지 않는 런타임 오버헤드를 기록하며, FGSM, PGD, DeepFool을 포함한 다양한 공격에 효과적으로 대응하며, 여러 네트워크와 변환 함수에서 뛰어난 성능을 보이며, 자원이 제한된 시스템, 예를 들어 IoT 장치에 대한 확장 가능한 솔루션을 제공한다.

ABSTRACT

Deep Neural Networks (DNNs) have become a powerful toolfor a wide range of problems. Yet recent work has found an increasing variety of adversarial samplesthat can fool them. Most existing detection mechanisms against adversarial attacksimpose significant costs, either by using additional classifiers to spot adversarial samples, or by requiring the DNN to be restructured. In this paper, we introduce a novel defence. We train our DNN so that, as long as it is workingas intended on the kind of inputs we expect, its behavior is constrained, in that some set of behaviors are taboo. If it is exposed to adversarial samples, they will often cause a taboo behavior, which we can detect. Taboos can be both subtle and diverse, so their choice can encode and hide information. It is a well-established design principle that the security of a system should not depend on the obscurity of its design, but on some variable (the key) which can differ between implementations and bechanged as necessary. We discuss how taboos can be used to equip a classifier with just such a key, and how to tune the keying mechanism to adversaries of various capabilities. We evaluate the performance of a prototype against a wide range of attacks and show how our simple defense can defend against cheap attacks at scale with zero run-time computation overhead, making it a suitable defense method for IoT devices.

연구 동기 및 목표

• 특히 IoT 장치와 같은 저자원 환경에서 계산 비용을 최소화하면서 딥 네트워크 내 적대적 샘플을 탐지하는 도전 과제를 해결한다.
• 추가 분류기나 아키텍처 변경에 의존하는 기존 탐지 방법의 한계를 극복하며, 이는 높은 계산 및 설계 오버헤드를 수반한다.
• 네트워크 아키텍처를 수정하지 않고도 훈련 중 행동 제약을 활용하여 추론 시점에 적대적 입력을 탐지할 수 있는 방어 메커니즘을 개발한다.
• 각 배포에 맞게 변경 가능한 키 유사한 변환 함수를 사용하여 다양한 능력의 공격자에 대응할 수 있는 유연성을 제공한다.
• 행동 제약이 암호학적 기반 방어 메커니즘으로 기능할 수 있음을 입증하며, 블랙박스 및 화이트박스 공격 모두에 대한 강건성을 향상시킨다.

제안 방법

• 훈련 중 레이어 간 활성화 값의 프로파일링을 통해 행동 제약 범위를 식별한다.
• 활성화 값을 사전 정의된 범위로 제약하기 위해 변환 함수(예: n번째 백분위수로 클리핑)를 적용하여 '금지된' 행동을 만든다.
• 이러한 활성화 제약을 적용하여 DNN를 재학습함으로써 정상 입력은 금지 범위 내에 유지되지만, 적대적 샘플은 종종 이를 위반하도록 한다.
• 추론 시점에, 어떤 활성화 값도 예상된 금지 범위를 벗어나면 경고를 발생시키는 탐지 함수를 사용한다.
• 다양하고 구성 가능한 변환 함수(예: 레이어별 백분위수 임계값, 다중 범위 클리핑)를 사용하여 암호학적 키 역할을 하여 방어의 예측 불가능성을 높인다.
• 계산 예산이 허락하는 경우, 비침습적인 통합 특성 덕분에 Taboo Trap을 다른 방어 메커니즘(예: MagNet, SafetyNet)과 결합할 수 있다.

실험 결과

연구 질문

• RQ1 DNN 훈련 중 행동 제약가 적대적 샘플 탐지에 효과적이고, 계산 비용이 거의 들지 않는 메커니즘으로 기능할 수 있는가?
• RQ2 변환 함수의 선택(예: 백분위수 클리핑 등)이 다양한 적대적 공격에 대한 방어의 강건성에 어떤 영향을 미치는가?
• RQ3 변환 함수가 비밀로 유지될 경우, Taboo Trap이 블랙박스 및 화이트박스 공격자에 대해 어느 정도 방어할 수 있는가?
• RQ4 훈련 중 활성화 제약을 적용하는 것이 정상 데이터에 대한 네트워크의 수렴성이나 성능에 악영향을 미치는가?
• RQ5 Taboo Trap은 추가적인 계산 오버헤드 없이 다른 방어 메커니즘과 효과적으로 통합될 수 있는가?

주요 결과

• Taboo Trap는 거의 영향을 주지 않는 런타임 계산 오버헤드를 기록하며, 훈련 시간이 약간 증가할 뿐이므로, IoT 및 임베디드 시스템에 매우 적합하다.
• LeNet5(MNIST)에서, 사용된 변환 함수에 따라 FGSM 공격에 대해 94–98%의 탐지율, PGD 공격에 대해 92–61%, DeepFool 공격에 대해 1–12%의 탐지율을 기록했다.
• 다양한 변환 함수(예: 1번째 백분위수, 다중 범위 클리핑 등)는 각각 다른 방어 능력을 보이며, 특정 공격 유형에 맞게 맞춤화할 수 있다.
• 다양하고 구성 가능한 변환 함수의 사용은 암호학적 키 역할을 하며, 공격 유형이 알려지면 모델을 재설계하지 않고도 키만 변경함으로써 대응할 수 있다.
• 활성화 제약 조건이 적용된 상태에서도 정상 데이터에 대해 약 99%의 높은 정확도를 유지하며, 거짓 경고율은 1% 이하로 낮게 유지된다.
• 이 방법은 기존 방어 프레임워크와 호환되며, MagNet이나 SafetyNet과 같은 더 복잡한 시스템과도 통합 가능하여 추가적인 런타임 비용 없이도 전체 보안 수준을 향상시킬 수 있다.