[論文レビュー] Defense Methods Against Adversarial Examples for Recurrent Neural Networks

Ishai Rosenberg, Asaf Shabtai+2 more|arXiv (Cornell University)|Jan 28, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用数 40

ひとこと要約

本論文は sequence squeezing を導入し、 adversarial sequences を緩和するための四つの追加 RNN 防御を提案する。サイバーセキュリティ分野の API 呼び出しベースのマルウェア分類器で評価し、攻撃成功率の大幅な低減を達成。

ABSTRACT

Adversarial examples are known to mislead deep learning models to incorrectly classify them, even in domains where such models achieve state-of-the-art performance. Until recently, research on both attack and defense methods focused on image recognition, primarily using convolutional neural networks (CNNs). In recent years, adversarial example generation methods for recurrent neural networks (RNNs) have been published, demonstrating that RNN classifiers are also vulnerable to such attacks. In this paper, we present a novel defense method, termed sequence squeezing, to make RNN classifiers more robust against such attacks. Our method differs from previous defense methods which were designed only for non-sequence based models. We also implement four additional RNN defense methods inspired by recently published CNN defense methods. We evaluate our methods against state-of-the-art attacks in the cyber security domain where real adversaries (malware developers) exist, but our methods can be applied against other discrete sequence based adversarial attacks, e.g., in the NLP domain. Using our methods we were able to decrease the effectiveness of such attack from 99.9% to 15%.

研究の動機と目的

• サイバーセキュリティと離散的配列領域における RNN の敵対的事例への防御の必要性を動機づける。
• 再学習なしに敵対空間を縮小する sequence squeezing を提案する。
• RNN に適用された CNN に着想を得た四つの防御：sequence-GAN、nearest neighbor、RNN ensemble、 adversarial signatures を導入する。
• 防御手法を最先端の攻撃と敵対的トレーニングを基準と比較する。

提案手法

• API 呼び/語を GloVe 埋め込みで埋め込み、クラスター化して小さく絞られた語彙を作成し、構成要素を最も近い重心で置換して敵対空間を縮小しつつ、分類器の入力意味を維持する sequence squeezing を提案する。
• sequence-GAN を実装し、クラスごとに訓練された sequence GAN を用いて benign/malicious なシーケンスを生成し、入力に最も近いシーケンスを分類に用いる。
• nearest neighbor 防御を適用し、入力シーケンスに最も近い訓練サンプルに基づいて分類して摂動に抵抗する。
• regular、bagging、adversarial、subsequence モデルを含む RNN アンサンブルを構築し、アンサンブル投票と多様な入力分割を通じて摂動を検出する。
• 攻撃特有のパターンや敵対的トレーニングという比較ベースラインとなる adversarial signatures を導入する。
• 攻撃特有および攻撃非依存スキームに対して評価し、適応型攻撃とサイバーセキュリティ文脈での実用性について議論する。

実験結果

リサーチクエスチョン

• RQ1 sequence squeezing はモデルを再学習せずに離散的配列に対する RNN 分類器の敵対的空間を縮小できるか。
• RQ2 sequence-GAN、nearest neighbor、RNN Ensemble、その他の適用が API-call ベースの RNN マルウェア分類器の敵対的配列に対する頑健性を向上させるか。
• RQ3 防御はサイバーセキュリティの状況において、効果と実用性の点で敵対的トレーニングと比べてどうか。
• RQ4 ホワイトボックス/ブラックボックスの両方の攻撃設定で、防御手法は有効か。適応型攻撃を含むか。

主な発見

• sequence squeezing は評価された攻撃における敵対的有効性を 99.9% から 15% に低減した。
• 方法は全体として再学習なしで敵対的シーケンスの成功を低減する。
• sequence-GAN および nearest-neighbor アプローチは離散シーケンス入力に適した堅牢で攻撃非依存の防御を提供する。
• RNN アンサンブルと subsequence ベースのモデルはモデル間と入力のセグメントを分散させることで回復力を高める。
• 本論は、防御手法が敵対者が存在し完全な検出が常に可能でないサイバーセキュリティ文脈で現実的である可能性を主張する。