[논문 리뷰] Adversarial Examples in RF Deep Learning: Detection of the Attack and its Physical Robustness

Silvija Kokalj-Filipović, Rob Miller|arXiv (Cornell University)|2019. 02. 16.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 24

한 줄 요약

이 논문은 라디오 주파수(RF) 딥러닝에서의 적대적 예측에 대비한 두 가지 통계적 방어 기법을 제안한다: 공기 중(OTA) 신호의 피크 대 평균 전력비(PAPR) 기반과 소프트맥스 출력 엔트로피 기반이다. 두 방법 모두 적대적 편향으로 인한 분포 이탈을 감지하며, PAPR 기반 감지는 물리 계층 오염에 대해 더 높은 강건성을 보인다.

ABSTRACT

While research on adversarial examples in machine learning for images has been prolific, similar attacks on deep learning (DL) for radio frequency (RF) signals and their mitigation strategies are scarcely addressed in the published work, with only one recent publication in the RF domain [1]. RF adversarial examples (AdExs) can cause drastic, targeted misclassification results mostly in spectrum sensing/ survey applications (e.g. BPSK mistaken for 8-PSK) with minimal waveform perturbation. It is not clear if the RF AdExs maintain their effects in the physical world, i.e., when AdExs are delivered over-the-air (OTA). Our research on deep learning AdExs and proposed defense mechanisms are RF-centric, and incorporate physical world, OTA effects. We here present defense mechanisms based on statistical tests. One test to detect AdExs utilizes Peak-to- Average-Power-Ratio (PAPR) of the DL data points delivered OTA, while another statistical test uses the Softmax outputs of the DL classifier, which corresponds to the probabilities the classifier assigns to each of the trained classes. The former test leverages the RF nature of the data, and the latter is universally applicable to AdExs regardless of their origin. Both solutions are shown as viable mitigation methods to subvert adversarial attacks against communications and radar sensing systems.

연구 동기 및 목표

• RF 딥러닝에서의 적대적 예측에 관한 연구 부족, 특히 스펙트럼 감지 및 변조 인식과 같은 물리 계층 응용 분야에 초점을 맞춘다.
• 시뮬레이션에서 설계된 적대적 예측이 실제 전파 조건 하에서 공기 중(OTA)으로 전송될 때도 효과를 유지하는지 조사한다.
• OTA 손상에 강건하고 RF 신호 내의 적대적 편향을 감지할 수 있는 방어 기법을 개발한다.
• fading 및 노이즈와 같은 물리 계층 왜곡 하에서 감지 방법의 통계적 강건성을 평가한다.

제안 방법

• 손실 함수의 기울기 방향으로 작은 타겟 편향을 추가하여 적대적 예측을 생성하기 위해 빠른 기울기 부호 방법(FGSM)을 사용한다.
• 공기 중(OTA) 전송 후 RF 신호의 전력 에너지 특성 분석을 통해 PAPR 기반 통계적 검사를 수행하여 적대적 예측을 감지한다.
• 소프트맥스 출력 확률의 엔트로피에 대해 콜모고로프-스미르노프(KS) 검사를 적용하여 정상 입력과 적대적 입력 간의 분포 이탈을 감지한다.
• KS 검사의 통계적 신뢰도와 수렴성을 평가하기 위해 50개 및 200개의 제어 집합을 비교한다.
• 재현 가능성을 확보하기 위해 공개된 데이터셋을 활용해 실제 OTA 캡처된 RF 데이터 기반으로 CNN을 훈련하여 변조 인식을 수행한다.
• 다양한 변조 유형(BPSK, QPSK, 16QAM)에서 두 방어 기법의 일반화 능력을 평가하기 위해 다수의 변조 유형을 대상으로 평가한다.

실험 결과

연구 질문

• RQ1 RF 딥러닝에서의 적대적 예측이 실제 전파 조건 하에서 공기 중(OTA)으로 전송될 때도 공격 효과를 유지하는가?
• RQ2 RF 신호 특성(예: PAPR)에 대한 통계적 검사가 물리 계층에서 적대적 편향을 신뢰성 있게 감지할 수 있는가?
• RQ3 소프트맥스 엔트로피 기반 감지 방법은 OTA 유도 신호 왜곡과 분포 이탈에 대해 얼마나 강건한가?
• RQ4 PAPR 기반 또는 엔트로피 기반 중 어느 방어 기법이 RF 시스템의 물리 계층 손상에 더 강건한가?

주요 결과

• PAPR 기반 통계적 검사는 RF 채널 영향에 내재된 강건성 덕분에 공기 중 전송 후에도 적대적 예측을 높은 신뢰도로 감지한다.
• 소프트맥스 엔트로피 기반 KS 검사는 정상 샘플과 적대적 샘플을 강력하게 구분하며, 제어 집합 50개 및 200개 모두에서 p-값이 거의 0에 가까워 동일한 분포일 가능성이 매우 낮음을 시사한다.
• CNN 분류기는 정상 RF 데이터 기준 99.88%의 테스트 정확도를 기록했고, 0.1-FGSM 적대적 예측 기준으로는 단지 48.15%의 정확도를 기록하여 공격에 매우 취약함을 보여준다.
• 적대적 훈련을 통한 CNN 개선으로 0.1-FGSM 예측 기준 76.59%의 정확도를 달성하여 적대적 훈련의 효과성을 확인한다.
• 엔트로피 기반 검사는 더 큰 제어 집합(200 대비 50)을 사용할수록 신뢰도가 향상되며, 특히 16QAM과 같은 고차원 변조에서 두드러지게 나타나지만, 100%의 신뢰도 수렴은 완료되지 않는다.
• PAPR 검사는 엔트로피 검사보다 더 물리적으로 강건하여 무선 시스템의 실세계 구현에 더 적합함을 시사한다.