[논문 리뷰] Black-box Adversarial ML Attack on Modulation Classification

Muhammad Usama, Junaid Qadir외 1명|arXiv (Cornell University)|2019. 01. 01.

Adversarial Robustness in Machine Learning참고 문헌 6인용 수 2

한 줄 요약

이 논문은 Carlini & Wagner (C-W) 공격를 사용하여 딥러닝 기반 변조 분류기(CNN 및 LSTM)의 블랙박스 적대적 공격에 대한 내구성을 평가한다. 쿼리 응답에 기반한 서rogate DNN를 훈련하고, 이를 통해 조작된 적대적 예제를 생성함으로써 저자들은 분류 정확도가 60% 감소하는 것을 입증하며, 최신 기술 모델의 심각한 취약성을 드러낸다.

ABSTRACT

Recently, many deep neural networks (DNN) based modulation classification schemes have been proposed in the literature. We have evaluated the robustness of two famous such modulation classifiers (based on the techniques of convolutional neural networks and long short term memory) against adversarial machine learning attacks in black-box settings. We have used Carlini \& Wagner (C-W) attack for performing the adversarial attack. To the best of our knowledge, the robustness of these modulation classifiers has not been evaluated through C-W attack before. Our results clearly indicate that state-of-art deep machine learning-based modulation classifiers are not robust against adversarial attacks.

연구 동기 및 목표

• 딥러닝 기반 변조 분류기의 블랙박스 환경에서의 적대적 공격에 대한 내구성을 조사하기 위해.
• 서rogate 모델에서 조작된 적대적 예제가 실제 블랙박스 변조 분류기로 전이되어 성능을 악화시키는지 평가하기 위해.
• Carlini & Wagner (C-W) 공격가 변조 분류 작업을 위한 최적의 적대적 편향을 조작하는 데 얼마나 효과적인지 평가하기 위해.
• 딥러닝 기반 변조 인식에 의존하는 현대적 인지형 자율주행 네트워크의 취약성을 부각하기 위해.
• 쿼리 기반 데이터 수집을 활용하여 서rogate 모델에서 대상 블랙박스 모델로 적대적 예제의 전이성을 입증하기 위해.

제안 방법

• 공격자는 일반 사용자처럼 블랙박스 변조 분류기에 쿼리를 보내어 쿼리-응답 쌍을 수집한다.
• 수집된 쿼리-응답 데이터를 기반으로 대상 분류기의 동작을 모방하는 서rogate 딥 네트워크(DNN)를 훈련한다.
• 서rogate DNN에 대해 Carlini & Wagner (C-W) 공격를 적용하여 오분류를 유도하면서도 편향의 L2 노름을 최소화하는 적대적 예제를 생성한다.
• C-W 공격의 최적화는 오분류를 유도하는 조건 하에 편향의 L2 노름을 최소화하는 방식으로 설정되며, 목적 함수는 ∥η∥P + c·ℓ(x∗)로 표현되며, x∗ ∈ [0,1]^n 이다.
• 적대적 예제는 서rogate 모델에서 원래의 블랙박스 모델로 전이되며, 적대적 예제의 전이성 특성을 활용한다.
• 성능 평가는 전이된 적대적 예제를 사용하여 원래의 블랙박스 모델의 정확도 감소를 측정함으로써 평가된다.

실험 결과

연구 질문

• RQ1 블랙박스 적대적 공격는 딥러닝 기반 변조 분류기의 성능을 효과적으로 악화시킬 수 있는가?
• RQ2 서rogate 모델에서 생성된 적대적 예제가 실제 블랙박스 모델로 전이될 때의 전이성은 변조 분류 작업에서 어느 정도 유지되는가?
• RQ3 FGSM과 같은 간단한 방법에 비해 Carlini & Wagner 공격는 변조 분류를 위한 적대적 예제를 조작하는 데 얼마나 효과적인가?
• RQ4 CNN 및 LSTM 기반 변조 분류기에서 블랙박스 적대적 공격에 의해 성능 저하의 정도는 어느 정도인가?
• RQ5 실제 운영 환경에서 최적의 적대적 편향이 적용될 경우, 딥러닝 기반 변조 분류기의 내구성은 붕괴되는가?

주요 결과

• Carlini & Wagner 공격는 CNN 및 LSTM 기반 변조 분류기의 성능을 크게 떨어뜨리는 데 매우 효과적인 적대적 예제를 성공적으로 생성하였다.
• 서rogate 모델에서 생성된 적대적 예제를 전이한 후, CNN 및 LSTM 모델 모두에서 분류 정확도가 60% 감소하였다.
• 성능 저하 결과는 최신 기술의 DNN 기반 변조 분류기가 블랙박스 환경에서 적대적 공격에 취약하다는 것을 확인한다.
• 서rogate 모델에서 실제 블랙박스 모델로의 적대적 예제 전이가 효과적이며, 쿼리 기반 블랙박스 공격의 실현 가능성을 입증한다.
• 결과적으로, 대상 모델에 대한 지식이 최소한일지라도 공격자가 DNN 기반 변조 분류 시스템의 신뢰성을 심각하게 손상시킬 수 있음을 보여준다.
• 본 연구는 딥러닝을 통한 변조 인식에 의존하는 인지형 자율주행 네트워크에서 심각한 보안 격차가 존재함을 드러낸다.