[論文レビュー] Adversarial jamming attacks and defense strategies via adaptive deep reinforcement learning

Feng Wang, Chen Zhong+2 more|arXiv (Cornell University)|Jul 12, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 8

ひとこと要約

本稿では、DRLに基づく動的チャネルアクセスを実行する被害者ユーザーに対する、動的で適応的な深層強化学習（DRL）ベースのジャミング攻撃と、3つの防御戦略——PID制御を用いた多様化防御、模倣攻撃者防御、直交ポリシー——を提案する。主な貢献は、直交ポリシーが攻撃的ジャミングと環境的変化を区別できることで、攻撃検出が有効に可能になることの実証である。一方、模倣学習に基づく防御は、攻撃下でも最大90％の正確性を達成する。

ABSTRACT

As the applications of deep reinforcement learning (DRL) in wireless communications grow, sensitivity of DRL based wireless communication strategies against adversarial attacks has started to draw increasing attention. In order to address such sensitivity and alleviate the resulting security concerns, we in this paper consider a victim user that performs DRL-based dynamic channel access, and an attacker that executes DRLbased jamming attacks to disrupt the victim. Hence, both the victim and attacker are DRL agents and can interact with each other, retrain their models, and adapt to opponents' policies. In this setting, we initially develop an adversarial jamming attack policy that aims at minimizing the accuracy of victim's decision making on dynamic channel access. Subsequently, we devise defense strategies against such an attacker, and propose three defense strategies, namely diversified defense with proportional-integral-derivative (PID) control, diversified defense with an imitation attacker, and defense via orthogonal policies. We design these strategies to maximize the attacked victim's accuracy and evaluate their performances.

研究の動機と目的

• 無線システムにおけるDRLベースの動的チャネルアクセスのセキュリティ脆弱性——特に悪意あるジャミング攻撃に対する耐性を向上させること。
• DRLベースの被害者ユーザーとDRLベースのジャマーユーザーの間の相互作用を、両者が互いの行動に応じて学習・再訓練を行う動的で適応的なゲームとしてモデル化すること。
• 被害者の正確性を向上させるために、3つの新規な防御戦略——PID制御を用いた多様化防御、模倣攻撃者に基づく防御、直交ポリシー——の設計と評価を行うこと。
• 直交ポリシーを診断ツールとして用いて、チャネル状態における悪意あるジャミングと環境的変化を区別する攻撃検出メカニズムを開発すること。

提案手法

• 攻撃者は、被害者のチャネルアクセス正確性を最小限に抑えるための動的ジャミングポリシーを学習する、深層アクタクリティックDRLフレームワークを用いる。
• 被害者は、動的マルチチャネルアクセスのためのDRLエージェントを採用し、攻撃者の行動に対する耐性を高めるために防御戦略を統合する。
• PID制御を用いた多様化防御は、攻撃者の事前モデリングなしに、パフォーマンス指標からのフィードバックを用いて、リアルタイムでチャネル選択確率を調整する。
• 模倣攻撃者防御は、攻撃者の行動を模倣するサーヴィレートDRLエージェントを訓練し、被害者が攻撃パターンを予測・対抗可能にする。
• 直交ポリシー防御は、事前に複数の独立したDRLポリシーを訓練し、攻撃者を混乱させるためにそれらを切り替える。攻撃の検出は、急激な正確性の低下に基づく。
• 攻撃検出戦略は、直交ポリシー下での正確性をモニタリングすることで実装される。正確性が急激に低下する場合はジャミングを示し、徐々に回復する場合は環境的変化を示す。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのジャマーユーザーは、限られたジャミング出力パワー（最大出力の30％）でも、DRLベースの被害者ユーザーの性能を著しく低下させることができるか？
• RQ2 特に攻撃者の事前モデリングが不要な多様化防御戦略——特にPID制御を用いたもの——は、悪意あるジャミング下での被害者の正確性をどのように向上させるか？
• RQ3 直交ポリシーは、防御メカニズムとしての役割に加え、悪意ある攻撃と環境的変化を区別する診断ツールとしても機能できるか？
• RQ4 異なる防御戦略において、正確性、トレーニングのオーバーヘッド、適応性のトレードオフはどのように変化するか？
• RQ5 模倣攻撃者を用いた防御戦略は、他の戦略と比較して、耐性と達成可能な正確性において優れているか？

主な発見

• 最大ジャミング出力の30％のパワーのみで、DRLベースの攻撃者は被害者のチャネルアクセス正確性を34.6％まで低下させ、極めて高い攻撃効率を示した。
• 攻撃者の事前知識なしに、PID制御を用いた多様化防御は、攻撃下でも39％の被害者正確性を達成し、未知の攻撃状況下でも高い耐性を示した。
• 模倣攻撃者に基づく防御戦略は、攻撃下でも最大90％の正確性を達成し、さまざまな条件下でも強い適応性と耐性を示した。
• 直交ポリシー防御は、攻撃中でも被害者の正確性を約50％に維持し、環境変化時に正確性が急激にゼロに近づくことから、効果的な攻撃検出が可能になった。
• 直交ポリシー防御は信頼性の高い攻撃検出を可能にした：正確性が急激に低下する場合はジャミングを示し、徐々に回復する場合は環境的変化を示すため、適切な防御メカニズムへの動的切り替えが可能になった。