[論文レビュー] Non-Cooperative Inverse Reinforcement Learning

Xiangyuan Zhang, Kaiqing Zhang+2 more|arXiv (Cornell University)|Nov 3, 2019

Advancements in Semiconductor Devices and Circuit Design被引用数 15

ひとこと要約

本稿では、攻撃者が意図を戦略的に隠す一方で、防御者が対話によって攻撃者の真の報酬関数を学ぶ、片側の不完全情報を持つゼロサムマルコフゲームである非協力的逆強化学習（N-CIRL）を提案する。この手法は均衡戦略の再帰的公式を用い、サイバーセキュリティのシミュレーションを通じて、N-CIRLはMA-IRLに比べて攻撃者の報酬を著しく低減することを示している。これは、学習と行動の入れ替えが、戦略的偽装の下でも防御性能を向上させることを示している。

ABSTRACT

Making decisions in the presence of a strategic opponent requires one to take into account the opponent's ability to actively mask its intended objective. To describe such strategic situations, we introduce the non-cooperative inverse reinforcement learning (N-CIRL) formalism. The N-CIRL formalism consists of two agents with completely misaligned objectives, where only one of the agents knows the true objective function. Formally, we model the N-CIRL formalism as a zero-sum Markov game with one-sided incomplete information. Through interacting with the more informed player, the less informed player attempts to both infer, and act according to, the true objective function. As a result of the one-sided incomplete information, the multi-stage game can be decomposed into a sequence of single-stage games expressed by a recursive formula. Solving this recursive formula yields the value of the N-CIRL game and the more informed player's equilibrium strategy. Another recursive formula, constructed by forming an auxiliary game, termed the dual game, yields the less informed player's strategy. Building upon these two recursive formulas, we develop a computationally tractable algorithm to approximately solve for the equilibrium strategies. Finally, we demonstrate the benefits of our N-CIRL formalism over the existing multi-agent IRL formalism via extensive numerical simulation in a novel cyber security setting.

研究の動機と目的

• エージェントの目的が完全に相反するマルチエージェントシステムにおける価値の整合性の課題に取り組むこと。特に、サイバーセキュリティの文脈を想定する。
• 一方のエージェント（攻撃者）が真の報酬関数を隠している一方で、もう一方のエージェント（防御者）が観察と行動を通じてそれを推定しなければならない、戦略的相互作用をモデル化すること。
• 片側の不完全情報を持つゼロサムマルコフゲームにおける均衡戦略計算のための計算的に実行可能なアルゴリズムを開発すること。
• N-CIRLにおける学習と実行の入れ替えが、均衡行動からの学習のみに比べて防御の成果をどのように向上させるかを実証的に示すこと。
• 情報非対称性を伴う確率的ゲームにおけるシグナル送信と信念操作の理論的基盤を提供すること。

提案手法

• N-CIRL問題を、攻撃者のみが真の報酬関数を知る、片側の不完全情報を持つゼロサムマルコフゲームとしてモデル化する。
• 情報構造に基づいて、ゲームの価値および攻撃者の均衡戦略の再帰的公式を導出する。
• 防御者の均衡戦略の再帰的公式を導出するための双対ゲームを構築し、最適な学習および行動方策の計算を可能にする。
• 再帰的公式に基づいて、均衡戦略を効率的に計算するための近似アルゴリズムNC-PBVIを開発する。
• 攻撃グラフを用いた、新たなサイバーセキュリティ設定にこのフレームワークを適用する。ここでは、攻撃が成功確率を伴う状態遷移としてモデル化される。
• 攻撃者が新たなシステム状態を有効化することによる報酬、攻撃コスト、防御によるブロッキング行動を組み合わせた報酬関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 ゼロサムの設定下で、意図を積極的に隠す戦略的攻撃者の真の目的を防御者がどのように学ぶことができるか。
• RQ2 目的が相反し、片側の不完全情報を持つマルコフゲームにおける均衡戦略の構造はどのようなものか。
• RQ3 非協力的IRLフレームワークにおいて、学習と行動を交互に繰り返すことで、静的均衡行動からの学習に比べて防御性能がどのように向上するか。
• RQ4 攻撃者が行動を通じて意図をある程度は露呈せざるを得ないという事実を、防御者がどの程度活用できるか。
• RQ5 このような非協力的逆強化学習問題を解くための計算的および理論的基盤は何か。

主な発見

• N-CIRLは、すべてのテストされたグラフサイズにおいて、MA-IRLに比べて攻撃者の平均報酬を著しく低減し、特に大きなネットワークでは最大40％の相対的低減が達成された。
• 攻撃者が偽装戦略を用いても、N-CIRLにおける防御者の戦略は、MA-IRLよりも攻撃者の報酬を低く抑えることができた。これは、攻撃者が真の意図を遂行するために最終的に行動をとらざるを得ないという点に起因する。
• NC-PBVIアルゴリズムは、n=10のグラフに対して平均実行時間が10秒未満で、妥当なスケーラビリティを示しており、計算上の実行可能性が裏付けられた。
• ゲームの再帰的構造により、再帰的公式の不動点解法を用いて、均衡戦略の計算が取り扱い可能になった。
• 実証的結果から、防御者は、均衡行動からの受動的学習よりも、対話的学習からより大きな利益を得ており、N-CIRLがMA-IRLを上回る利点が裏付けられた。
• 理論的および実証的な偽装の限界が示されたように、攻撃者は完全に私的情報を活用することはできず、ある程度はそれを露呈せざるを得ない。