[論文レビュー] Adversarial Reinforcement Learning under Partial Observability in Autonomous Computer Network Defence

Yi Han, David Hubczenko+7 more|arXiv (Cornell University)|Feb 25, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用数 4

ひとこと要約

本論文は、部分観測下における自律的サイバー防御に用いられる強化学習（RL）エージェントに対する因果的悪意のある攻撃に対処するため、逆転に基づく防御機構を提案する。ネットワークの可視範囲が限られている状況でも、攻撃者は状態の摂動を用いてRLの学習を汚染できるが、提案手法はこれらの摂動を逆転させることで、攻撃の影響を著しく低減する。攻撃が発生しない状況では性能の低下を引き起こさない。

ABSTRACT

Recent studies have demonstrated that reinforcement learning (RL) agents are susceptible to adversarial manipulation, similar to vulnerabilities previously demonstrated in the supervised learning setting. While most existing work studies the problem in the context of computer vision or console games, this paper focuses on reinforcement learning in autonomous cyber defence under partial observability. We demonstrate that under the black-box setting, where the attacker has no direct access to the target RL model, causative attacks---attacks that target the training process---can poison RL agents even if the attacker only has partial observability of the environment. In addition, we propose an inversion defence method that aims to apply the opposite perturbation to that which an attacker might use to generate their adversarial samples. Our experimental results illustrate that the countermeasure can effectively reduce the impact of the causative attack, while not significantly affecting the training process in non-attack scenarios.

研究の動機と目的

• 攻撃者がネットワークのトポロジーを部分的にしか把握できない状況下で、自律的サイバー防御に用いられるRLエージェントが因果的攻撃に対して脆弱であるという問題に取り組む。
• 攻撃者と防御者が両方とも完全な観測を仮定する従来の研究の限界を克服する。これは現実のネットワークでは現実的ではない。
• 従来の手法が失敗する部分観測環境において、攻撃パターンの事前知識が不要な防御機構を開発する。
• 攻撃が発生しない学習シナリオにおいても、防御機構が高い性能を維持することを保証し、新たな脆弱性の導入を回避する。

提案手法

• DQNに基づくRLエージェントを用いて、重要なサーバーを保護し、ネットワーク接続性を維持するというネットワーク防御問題をマルコフ決定過程（MDP）として定式化する。
• 攻撃者が学習中に観測される状態を摂動することでRLエージェントを誤導する因果的攻撃モデルを導入する。攻撃者はネットワークトポロジーの部分的知識しか持たない。
• 状態入力に対して攻撃の摂動とは逆の変換を施すことで、悪意のある摂動を検知・逆転する逆転に基づく防御を設計する。
• 攻撃者の摂動戦略を事前に知らない状況でも、統計的または構造的逆転を用いて汚染効果を中和する。
• 攻撃者が内部モデルパラメータにアクセスできないブラックボックス攻撃設定を採用し、現実の制約を模擬する。
• 100ノードと172リンクを有するリアルなSDNベースのネットワークを用い、攻撃者の観測レベルを2段階（全ノードの1/3および1/2）に設定して評価を行う。

実験結果

リサーチクエスチョン

• RQ1 攻撃者がネットワークの部分的可視性しか持たない状況でも、状態の摂動を用いた因果的攻撃は、自律的サイバー防御におけるRL学習を効果的に汚染できるか？
• RQ2 部分観測が、攻撃者が状態の摂動によってRLエージェントの方策を操作する能力に与える影響は何か？
• RQ3 攻撃パターンの事前知識がなくても、逆転に基づく防御機構は因果的攻撃を効果的に抑制できるか？
• RQ4 攻撃が発生しないシナリオにおける防御機構の性能への影響は何か？また、RLエージェントの学習効率は維持されるか？

主な発見

• 攻撃者がネットワークの部分的可視性しか持たない状況でも、訓練中の状態摂動を用いた因果的攻撃は、RLエージェントを最適でない方策へ誘導することができる。
• 提案された逆転防御は、因果的攻撃の成功確率を著しく低減し、RLエージェントが最適な防御戦略を学習できる能力を回復する。
• 攻撃が発生しないシナリオにおいて、防御機構は訓練性能にほとんど悪影響を及ぼさず、エージェントの学習効率を維持する。
• 攻撃者が100ノードのうち34ノード（1/3）しか観測しない状況でも、この方法は有効であることが示され、現実的な部分観測条件下での頑健性を示している。
• 従来の防御手法が失敗する新しい部分観測設定において、逆転ベースのアプローチが優れた性能を示している。
• 結果から、敵対的訓練や他の既存防御は、この現実的な脅威モデルでは不十分であることが確認され、新たな防御戦略の必要性が浮き彫りになった。