[論文レビュー] The Faults in Our Pi Stars: Security Issues and Open Challenges in Deep Reinforcement Learning

Vahid Behzadan, Arslan Munir|arXiv (Cornell University)|Oct 23, 2018

Adversarial Robustness in Machine Learning参考文献 71被引用数 20

ひとこと要約

この論文は、深層強化学習（DRL）におけるセキュリティ問題を形式化し、脆弱性、攻撃ベクトル、敵対的能力を分類する包括的な脅威モデルを提案する。既存の攻撃と防御をレビューし、重要な未解決の研究課題を特定し、学習段階および推論段階における意図的な操作に対するDRLシステムのセキュリティ確保のためのロードマップを提示する。

ABSTRACT

Since the inception of Deep Reinforcement Learning (DRL) algorithms, there has been a growing interest in both research and industrial communities in the promising potentials of this paradigm. The list of current and envisioned applications of deep RL ranges from autonomous navigation and robotics to control applications in the critical infrastructure, air traffic control, defense technologies, and cybersecurity. While the landscape of opportunities and the advantages of deep RL algorithms are justifiably vast, the security risks and issues in such algorithms remain largely unexplored. To facilitate and motivate further research on these critical challenges, this paper presents a foundational treatment of the security problem in DRL. We formulate the security requirements of DRL, and provide a high-level threat model through the classification and identification of vulnerabilities, attack vectors, and adversarial capabilities. Furthermore, we present a review of current literature on security of deep RL from both offensive and defensive perspectives. Lastly, we enumerate critical research venues and open problems in mitigation and prevention of intentional attacks against deep RL as a roadmap for further research in this area.

研究の動機と目的

• 深層強化学習（DRL）におけるセキュリティ脆弱性に関する研究のギャップを解消すること。これは、その分野の重要性が高まる一方で、依然としてほとんど調査が進んでいない。
• DRLにおける安全性（有害な行動を避けること）とセキュリティ（意図的な敵対的操作に耐えること）を明確に区別すること。現在の安全なRLアプローチは、意図的な攻撃には対応していないことを強調する。
• 学習段階および推論段階の両方において、攻撃表面、敵対的能力、攻撃目的を特定する汎用的な脅威モデルを構築すること。
• DRLセキュリティ分野の最新動向をレビューし、攻撃的・防御的技術、ベンチマーク、評価指標を含む。
• 今後のDRLシステムの敵対的脅威に対する耐性強化を促進するため、重要な未解決の研究課題を特定・優先順位付けすること。

提案手法

• ポリシーのパラメータ、価値関数、経験リプレイバッファなどの攻撃表面を定義することで、DRLにおけるセキュリティ問題を形式化する。
• 敵対的能力（例：ホワイトボックス、ブラックボックスアクセス）と攻撃目的（例：ポリシーの改ざん、報酬の改ざん）を分類する脅威モデルを提案する。
• 学習段階および推論段階における攻撃を分析し、経験リプレイの汚染、報酬の改ざん、観測値への敵対的摂動を含む。
• 敵対的訓練、頑健な価値関数推定、DRLにおけるオンライン異常検知などの既存の防御メカニズムを調査する。
• 最小限の干渉で誤動作ポリシーをリアルタイムに是正できるオンライン調整技術といった、新たな研究分野を提案する。
• DRLエージェントの行動と人間の障害（例：依存症、PTSD）との心理的類似性を明らかにし、臨床的モデルに基づく新たな緩和戦略の発案を促す。

実験結果

リサーチクエスチョン

• RQ1 学習段階および推論段階における深層強化学習システムの主なセキュリティ脆弱性と攻撃ベクトルは何か？
• RQ2 敵対的能力（例：アクセスレベル、アーキテクチャの知識）がDRLエージェントに対する攻撃の実現可能性と影響力にどのように影響するか？
• RQ3 意図的な操作に対するDRLエージェントの防御において、重要な未解決の研究課題は何か。それらはどのように体系的に解決できるか？
• RQ4 依存症や行動障害の心理的モデルは、安全でレジリエントなDRLエージェントの設計にどの程度寄与できるか？
• RQ5 学習プロセスを妨げることなく、敵対的ポリシーの逸脱を検出し是正できるオンライン調整メカニズムはどのように開発できるか？

主な発見

• DRLにおけるセキュリティ問題は、安全なRLとは本質的に異なる。それは、誤った不測の行動ではなく、敵対的攻撃による意図的な操作を含むからである。
• DRLにおける敵対的攻撃は、学習段階および推論段階の両方で実行可能であり、経験リプレイの汚染、報酬の改ざん、観測値への摂動が含まれる。
• 敵対的訓練や頑健な価値関数推定といった現在の防御策は有望ではあるが、複雑な環境への一般化性やスケーラビリティに制限がある。
• リアルタイムで誤動作ポリシーを検出し是正するオンライン調整メカニズムは、ほとんど調査が進んでいないが、極めて重要な研究分野である。
• ワイヤーヘディングを依存行動として、否定的報酬への暴露をトラウマとして見なす心理的類似性は、ポリシー改ざんの理解と緩和に新たな類推を提供する。
• オフスイッチやインタラプトビリティといった安全なAIメカニズムは、セキュリティを考慮せずに設計されると新たな攻撃ベクトルを生じさせる可能性がある。これにより、セキュリティを設計段階から統合する原則の重要性が浮き彫りになる。