[論文レビュー] Reinforcement Learning for Feedback-Enabled Cyber Resilience

Yunhan Huang, Linan Huang+1 more|arXiv (Cornell University)|Jul 2, 2021

Information and Cyber Security被引用数 4

ひとこと要約

本稿では、ポリシー、情報、人的要因に起因する脆弱性を網羅的にカバーする、強化学習（RL）に基づくフィードバックアーキテクチャを提案しており、既知およびゼロデイ攻撃に対してリアルタイムで適応可能なサイバー耐性を実現する。本研究では、RLが移動標的防御やハニーポットといった適応的防御メカニズムを効果的に駆動できることを示している一方で、攻撃者が報酬、観測、行動を操作することでRL自体にも脆弱性が存在することを明らかにした。

ABSTRACT

Digitization and remote connectivity have enlarged the attack surface and made cyber systems more vulnerable. As attackers become increasingly sophisticated and resourceful, mere reliance on traditional cyber protection, such as intrusion detection, firewalls, and encryption, is insufficient to secure the cyber systems. Cyber resilience provides a new security paradigm that complements inadequate protection with resilience mechanisms. A Cyber-Resilient Mechanism (CRM) adapts to the known or zero-day threats and uncertainties in real-time and strategically responds to them to maintain critical functions of the cyber systems in the event of successful attacks. Feedback architectures play a pivotal role in enabling the online sensing, reasoning, and actuation process of the CRM. Reinforcement Learning (RL) is an essential tool that epitomizes the feedback architectures for cyber resilience. It allows the CRM to provide sequential responses to attacks with limited or without prior knowledge of the environment and the attacker. In this work, we review the literature on RL for cyber resilience and discuss cyber resilience against three major types of vulnerabilities, i.e., posture-related, information-related, and human-related vulnerabilities. We introduce three application domains of CRMs: moving target defense, defensive cyber deception, and assistive human security technologies. The RL algorithms also have vulnerabilities themselves. We explain the three vulnerabilities of RL and present attack models where the attacker targets the information exchanged between the environment and the agent: the rewards, the state observations, and the action commands. We show that the attacker can trick the RL agent into learning a nefarious policy with minimum attacking effort. Lastly, we discuss the future challenges of RL for cyber security and resilience and emerging applications of RL-based CRMs.

研究の動機と目的

• 先進持続的脅威（APTs）およびゼロデイ攻撃に対する従来のサイバー保護の限界を解決すること。
• 未知で変化し続ける脅威にリアルタイムで適応可能なフィードバック駆動型サイバー耐性メカニズム（CRM）を構築すること。
• 環境の事前知識がなくても、戦略的かつ逐次的な反応を可能にするために強化学習（RL）をCRMに統合すること。
• 報酬、状態観測、行動コマンドチャネルにおけるRL自体の脆弱性を特定・分析すること。
• 移動標的防御、サイバーだまし、支援的ヒューマンセキュリティ技術分野におけるRLベースのCRMの新たな応用を検討すること。

提案手法

• 準備、保護、応答、回復の4段階を有するP2R2 CRMフレームワークを構築する。
• モデルフリーかつ価値ベースのRLアルゴリズム（例：Q学習、ディープQネットワーク）を用いて、動的環境下での最適防御方策を学習する。
• セキュリティと使いやすさのバランスを最適化するために、RLを用いた自己適応型移動標的防御（MTD）戦略を設計する。
• Q学習を活用した自己設定型ハニーポットを実装し、攻撃者との接触時間とだまし効果を最適化する。
• 攻撃者による過負荷（例：IDoS攻撃）を意図的に引き起こすのを防ぐために、RLベースのアラートおよび注目管理システムを開発する。
• ゲーム理論的フレームワークを用いて、RLコンponentsに対する敵対的攻撃（報酬汚染、観測操作、行動コマンドスプーフィング）をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 RLは、リアルタイムで適応可能なサイバー耐性を実現するために、どのようにフィードバックアーキテクチャに効果的に統合できるか？
• RQ2 報酬、観測、行動の操作によって攻撃を受けた場合、RLベースの防御システムに顕在する主な脆弱性は何か？
• RQ3 RLは、ポリシー関連、情報関連、人的要因に起因するサイバー脆弱性に対して、どのように耐性を高めるか？
• RQ4 RLは、インフラに重要な影響を与える移動標的防御および防御的だまし戦略を、どのような形で強化できるか？
• RQ5 フィードバック信号の操作によってRLエージェントを乗っ取るために必要な最小限の攻撃努力はどの程度か？

主な発見

• RLは、環境や攻撃者の行動に関する事前知識が限られている状況下でも、リアルタイムで最適な方策を学習できることから、サイバー耐性における効果的で適応的な防御を可能にする。
• 報酬汚染攻撃は、最小限の干渉でRLエージェントを劣悪または悪意ある方策に誤って学習させることに成功した。
• 攻撃者が状態観測や行動コマンドを操作することで、誤った意思決定を引き起こすことができ、RLベースのCRMに内在する脆弱性を示した。
• RLベースの移動標的防御戦略は、システムパラメータを動的に再設定することで、セキュリティと使いやすさのトレードオフを改善した。
• Q学習を用いて自己適応型ハニーポットを構築した結果、攻撃者の関与時間と検出精度が著しく向上した。
• RLベースの注目管理は、インシデント検出の高負荷環境下でアラートの疲労を軽減し、対応効率を向上させた。