[論文レビュー] Black-box Adversarial ML Attack on Modulation Classification

Muhammad Usama, Junaid Qadir+1 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning参考文献 6被引用数 2

ひとこと要約

この論文は、Carlini & Wagner (C-W) 攻撃を用いて、畳み込みニューラルネットワーク (CNN) および長短期記憶 (LSTM) の深層学習ベースの変調分類器に対するブラックボックス敵対的攻撃に対する耐性を評価している。クエリ応答データを用いてサロゲートDNNを訓練し、その上で作成された敵対的例を転送することで、分類精度が60%低下することを実証しており、最先端のモデルにおける顕著な脆弱性を明らかにしている。

ABSTRACT

Recently, many deep neural networks (DNN) based modulation classification schemes have been proposed in the literature. We have evaluated the robustness of two famous such modulation classifiers (based on the techniques of convolutional neural networks and long short term memory) against adversarial machine learning attacks in black-box settings. We have used Carlini \& Wagner (C-W) attack for performing the adversarial attack. To the best of our knowledge, the robustness of these modulation classifiers has not been evaluated through C-W attack before. Our results clearly indicate that state-of-art deep machine learning-based modulation classifiers are not robust against adversarial attacks.

研究の動機と目的

• ブラックボックス環境下における深層学習ベースの変調分類器の耐性を調査すること。
• サロゲートモデルで作成された敵対的例が、実際のブラックボックス変調分類器に転送され、性能を著しく低下させることを評価すること。
• Carlini & Wagner (C-W) 攻撃が、変調分類タスクに最適な敵対的摂動を生成する有効性を評価すること。
• DNNベースの変調認識に依存する現代の認知的自己走行ネットワークにおける脆弱性を強調すること。
• クエリベースのデータ収集を用いて、サロゲートモデルからターゲットブラックボックスモデルへの敵対的例の転送性を実証すること。

提案手法

• 攻撃者は、通常のユーザーとしてブラックボックス変調分類器にクエリを送信し、その応答を収集する。
• 収集したクエリ・応答データを用いて、ターゲット分類器の挙動を模倣するサロゲート深層ニューラルネットワーク (DNN) を訓練する。
• 敵対的例が誤分類を引き起こす一方で摂動を最小化するよう、C-W 攻撃をサロゲートDNNに適用する。
• C-W 攻撃の最適化は、誤分類を引き起こす条件下で摂動のL2ノルムを最小化する形で定式化され、目的関数は ∥η∥P + c·ℓ(x∗) で表され、x∗ ∈ [0,1]^n を満たす。
• 敵対的例は、敵対的例の転送性の性質を活用して、サロゲートモデルから元のブラックボックスモデルに転送する。
• 性能は、転送された敵対的例を用いて元のブラックボックスモデルをテストした際の精度低下を測定することで評価する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス敵対的攻撃は、深層学習ベースの変調分類器の性能を効果的に低下させることができるか？
• RQ2 サロゲートモデルから実際のブラックボックスモデルへの敵対的例の転送性は、変調分類タスクにおいてどの程度成立するか？
• RQ3 FGSM よりも単純な手法に比べ、Carlini & Wagner 攻撃は、変調分類タスクにおける敵対的例の生成においてどの程度有効か？
• RQ4 CNNおよびLSTMベースの変調分類器は、ブラックボックス敵対的攻撃の下で、どの程度の性能低下を示すか？
• RQ5 実世界の展開環境において、最適な敵対的摂動が加えられた場合、DNNベースの変調分類器の耐性は崩壊するか？

主な発見

• Carlini & Wagner 攻撃は、CNNおよびLSTMベースの変調分類器の性能を著しく低下させる高効果な敵対的例を効果的に生成した。
• サロゲートモデルから敵対的例を転送した後、CNNおよびLSTMモデルの両方で分類精度が60%低下した。
• 性能低下の結果から、最先端のDNNベースの変調分類器がブラックボックス環境下で敵対的攻撃に対して耐性を持たないことが確認された。
• サロゲートモデルから実際のブラックボックスモデルへの敵対的例の転送性は有効であり、クエリベースのブラックボックス攻撃の実現可能性が裏付けられた。
• 結果として、ターゲットモデルの詳細をほとんど知らない状態でも、攻撃者がDNNベースの変調分類システムの信頼性を著しく損なうことが示された。
• 本研究は、深層学習による変調認識に依存する認知的自己走行ネットワークにおける深刻なセキュリティギャップを明らかにした。