[論文レビュー] Adversarial Examples in RF Deep Learning: Detection of the Attack and its Physical Robustness

Silvija Kokalj-Filipović, Rob Miller|arXiv (Cornell University)|Feb 16, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用数 24

ひとこと要約

本稿は、電波（RF）ディープラーニングにおける敵対的例に対する2つの統計的防御手法を提案する。1つは空中伝送（OTA）信号のピーク対平均電力比（PAPR）に基づくもので、もう1つはソフトマックス出力のエントロピーを用いるものである。両手法とも、敵対的摂動が引き起こす分布のずれを検出するが、PAPRに基づく検出法は物理層の劣化に対してより高い耐性を示す。

ABSTRACT

While research on adversarial examples in machine learning for images has been prolific, similar attacks on deep learning (DL) for radio frequency (RF) signals and their mitigation strategies are scarcely addressed in the published work, with only one recent publication in the RF domain [1]. RF adversarial examples (AdExs) can cause drastic, targeted misclassification results mostly in spectrum sensing/ survey applications (e.g. BPSK mistaken for 8-PSK) with minimal waveform perturbation. It is not clear if the RF AdExs maintain their effects in the physical world, i.e., when AdExs are delivered over-the-air (OTA). Our research on deep learning AdExs and proposed defense mechanisms are RF-centric, and incorporate physical world, OTA effects. We here present defense mechanisms based on statistical tests. One test to detect AdExs utilizes Peak-to- Average-Power-Ratio (PAPR) of the DL data points delivered OTA, while another statistical test uses the Softmax outputs of the DL classifier, which corresponds to the probabilities the classifier assigns to each of the trained classes. The former test leverages the RF nature of the data, and the latter is universally applicable to AdExs regardless of their origin. Both solutions are shown as viable mitigation methods to subvert adversarial attacks against communications and radar sensing systems.

研究の動機と目的

• RFディープラーニングにおける敵対的例に関する研究の不足に取り組むこと、特にスペクトラムセンシングやモデュレーション認識といった物理層応用分野におけるものである。
• シミュレーションで設計された敵対的例が、現実の伝搬条件下で空中伝送（OTA）された場合にもその有効性を保つかどうかを調査すること。
• OTAインピーダンスに強く、RF信号内の敵対的摂動を検出可能な防御手法を開発すること。
• fading やノイズなどの物理層歪みの下での検出手法の統計的耐性を評価すること。

提案手法

• 損失関数の勾配の方向に小さな標的摂動を加えることで、急速勾配符号法（FGSM）を用いて敵対的例を生成する。
• 空中伝送後のRF信号の電力エンVELOープ特性を分析することで、PAPRに基づく統計的検定を用いて敵対的例を検出する。
• ソフトマックス出力確率のエントロピーにクラスコゴロフ＝スミルノフ（KS）検定を適用し、正当な入力と敵対的入力の間の分布のずれを検出する。
• KS検定の統計的信頼性と収束性を評価するために、50および200サンプルのコントロールセットを比較する。
• 再現可能性を確保するため、公開済みのデータセットを用いて実際のOTA収集RFデータ上でCNNを訓練し、モデュレーション認識を実行する。
• 複数のモデュレーション形式（BPSK、QPSK、16QAM）に対して両防御手法を評価し、信号フォーマットにわたる一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 RFディープラーニングにおける敵対的例は、現実の伝搬条件下で空中伝送（OTA）された場合にも、攻撃効果を維持するのか？
• RQ2 RF信号特徴（例：PAPR）に対する統計的検定が、物理層で敵対的摂動を信頼性高く検出できるのか？
• RQ3 ソフトマックスエントロピーに基づく検出法は、OTAに起因する信号歪みや分布のずれに対してどの程度耐性を示すのか？
• RQ4 PAPRに基づく防御とエントロピーに基づく防御のどちらが、RFシステムにおける物理層インピーダンスに対してより高い耐性を示すのか？

主な発見

• PAPRに基づく統計的検定は、RFチャネル効果に対して本質的に耐性を示すため、OTA伝送後でさえ敵対的例を高い信頼性で検出できた。
• ソフトマックスエントロピーに基づくKS検定は、正当なサンプルと敵対的サンプルの間で優れた識別性能を示し、50および200サンプルのコントロールセットにおいてp値がほぼゼロに近づき、同じ分布である確率が極めて低いことを示している。
• CNN分類器は、クリーンなRFデータでは99.88%のテスト精度を達成したが、0.1-FGSM敵対的例ではわずか48.15%に低下し、攻撃に対して極めて脆弱であることが示された。
• 敵対的訓練を施したCNNは耐性が向上し、0.1-FGSM例において76.59%の精度を達成した。これにより、敵対的訓練の有効性が裏付けられた。
• エントロピー検定は、より大きなコントロールセット（200 vs. 50）を用いることで信頼性が向上し、特に16QAMのような高レートモデュレーションにおいて顕著であったが、100%の信頼性への収束は完全には達成されなかった。
• PAPR検定はエントロピー検定よりも物理的耐性に優れており、無線システムにおける実用的展開に適していると考えられる。