[논문 리뷰] A Partial Break of the Honeypots Defense to Catch Adversarial Attacks

Nicholas Carlini|arXiv (Cornell University)|2020. 09. 23.

Adversarial Robustness in Machine Learning참고 문헌 4인용 수 7

한 줄 요약

이 논문은 경로 방어의 부분적 붕괴를 입증한다. ℓ∞ 위협 모델 하에서 공격자는 오직 오차 최소화와 탐지 회피 손실을 번갈아 최소화하는 기울기 기반 공격을 통해 경로 방어의 진짜 양성률을 0%로 낮추고 AUC를 0.02로 떨어뜨린다. 이 공격은 방어의 서명을 알지 못해도 성공하며, 방어의 핵심 가정인 백도어 활성화 패턴을 통한 탐지 가능성에 도전한다.

ABSTRACT

A recent defense proposes to inject "honeypots" into neural networks in order to detect adversarial attacks. We break the baseline version of this defense by reducing the detection true positive rate to 0\% and the detection AUC to 0.02, maintaining the original distortion bounds. The authors of the original paper have amended the defense in their CCS'20 paper to mitigate this attacks. To aid further research, we release the complete 2.5 hour keystroke-by-keystroke screen recording of our attack process at https://nicholas.carlini.com/code/ccs_honeypot_break.

연구 동기 및 목표

• 백색 상자 및 제한된 백색 상자 위협 모델 하에서 경로 방어가 적대적 공격에 얼마나 견고한지 평가하기 위해.
• 적대적 예제가 백도어 서명의 활성화 유사성에 의존하는 방어의 특성에 기반해 탐지를 회피할 수 있는지 조사하기 위해.
• 단순한 기울기 기반 최적화가 히우리스틱 탐지 메커니즘에 의존하는 방어를 어떻게 무너뜨릴 수 있는지 보여주기 위해.
• 기본 형태로 제안된 방어의 견고성 주장이 실제로 근거가 없는지 경험적 증거를 제공하기 위해.

제안 방법

• 공격 목표를 향해 매 단계에서 개선되는 방식으로, 교차 엔트로피 손실 최소화(오분류를 위해)와 탐지 손실 최소화(경로 탐지기 회피를 위해)를 번갈아 적용하는 이단계 기울기 하강 공격을 사용한다.
• 역행성 기울기 투영을 적용하여 비효율적인 업데이트를 방지한다: 오분류를 증가시킬 때는 탐지 기울기 방향에 수직인 방향으로 스텝을 투영한다.
• 교차 엔트로피와 탐지 유사성 손실을 결합한 손실 함수를 사용하며, 공격 목표를 균형 있게 조정하기 위해 적응형 초모수 조정(λ = 8)을 적용한다.
• 적대적 예제에 대한 경험적 평균을 통해 방어의 서명 φ를 추정함으로써, φ에 대한 사전 지식 없이도 공격을 수행할 수 있도록 한다.
• 단계 크기 0.1, 100회 반복의 투영 기울기 하강법을 사용하여 ℓ∞ 유계 변형을 적용한다.
• 표준 지표를 사용해 AUC와 진짜 양성률을 측정함으로써 공격의 효과성을 검증하며, 랜덤 추측(AUC = 0.5)과 비교한다.

실험 결과

연구 질문

• RQ1 간단한 기울기 기반 공격이 동시에 탐지 회피와 오분류 유지라는 목표를 동시에 달성하여 경로 방어를 우회할 수 있는가?
• RQ2 방어가 백도어 서명의 활성화 유사성에 의존함으로써, 서명 추정 및 공격에 얼마나 취약한가?
• RQ3 위협 모델에서 주장하는 바와 같이 공격자가 서명 φ를 모른다고 해도 방어는 여전히 견고한가?
• RQ4 유사한 탐지 메커니즘(은닉층 활성화 패턴 기반)을 사용하는 방어에도 이 공격이 일반화 가능한가?
• RQ5 원래의 왜곡 한계를 유지하면서도, 적응형 공격이 도달할 수 있는 최소 AUC는 얼마인가?

주요 결과

• 공격으로 인해 방어의 AUC가 0.02로 떨어졌으며, 이는 랜덤 추측 기준인 0.5 이하로 떨어져 탐지 메커니즘이 완전히 실패했음을 시사한다.
• 10%의 거짓 양성률에서 진짜 양성률이 0%로 떨어져, 공격 하에서 방어가 어떤 적대적 예제도 탐지하지 못함을 입증한다.
• 표준 공격 방법으로 생성된 적대적 예제를 기반으로 φ를 추정함으로써, 방어의 서명을 알지 못해도 공격이 여전히 효과가 있음을 보였다.
• 오분류와 회피 목표를 번갈아 최소화하고, 기울기 방향을 수직으로 투영하는 개선된 공격은 표준 손실 최소화보다 훨씬 더 우수한 성능을 달성한다.
• 저자들은 원본 논문의 최종 버전에서 방어가 수정되었음을 확인했지만, 기본 형태의 방어는 표준 적대적 위협 모델 하에서 완전히 무너져 있다.
• 공격 과정은 2.5시간에 걸쳐 완전히 기록되었으며, 재현성과 향후 분석을 위한 완전한 감사 트레일을 제공한다.