[论文解读] Manipulating a Learning Defender and Ways to Counteract

Jiarui Gan, Qingyu Guo+3 more|arXiv (Cornell University)|Jan 1, 2019

Network Security and Intrusion Detection被引用 1

一句话总结

本文表明，在Stackelberg安全博弈中，基于学习的防御者容易受到不诚实攻击者的操纵，后者可诱使防御者采用最大化最小值策略，从而实质上抵消学习带来的优势。为应对这一问题，作者提出了一种更高级别的博弈论策略承诺框架，使防御者即使在被操纵的情况下也能学习到稳健策略，该方法具备多项式时间算法，并针对未知或无限收益空间设计了启发式方法，在实验中显著提升了防御者收益。

ABSTRACT

In Stackelberg security games when information about the attacker's payoffs is uncertain, algorithms have been proposed to learn the optimal defender commitment by interacting with the attacker and observing their best responses. In this paper, we show that, however, these algorithms can be easily manipulated if the attacker responds untruthfully. As a key finding, attacker manipulation normally leads to the defender learning a maximin strategy, which effectively renders the learning attempt meaningless as to compute a maximin strategy requires no additional information about the other player at all. We then apply a game-theoretic framework at a higher level to counteract such manipulation, in which the defender commits to a policy that specifies her strategy commitment according to the learned information. We provide a polynomial-time algorithm to compute the optimal such policy, and in addition, a heuristic approach that applies even when the attacker's payoff space is infinite or completely unknown. Empirical evaluation shows that our approaches can improve the defender's utility significantly as compared to the situation when attacker manipulation is ignored.

研究动机与目标

• 识别当攻击者提供虚假最优响应反馈时，基于学习的防御者策略所暴露的漏洞。
• 分析此类操纵的后果，表明其通常导致防御者采用最大化最小值策略，从而丢弃了宝贵的收益信息。
• 设计一种更高级别的博弈论框架，使防御者承诺一种基于学习到的攻击者行为动态调整的策略，以对抗操纵行为。
• 开发一种多项式时间算法，用于在该框架下计算最优策略。
• 通过启发式方法将该方法扩展至攻击者收益空间无限或完全未知的情形。

提出的方法

• 将防御者的学习过程建模为Stackelberg博弈，其中防御者通过交互和观察到的最优响应来学习攻击者的收益。
• 引入一种更高级别的策略承诺机制，使防御者基于学习到的信息承诺一种策略，而非直接承诺单一行动。
• 将最优策略计算形式化为双层优化问题，利用凸优化技术可在多项式时间内求解。
• 设计一种启发式策略计算方法，即使在攻击者收益空间无限或完全未知时也能有效运行，依赖于采样与近似。
• 将该策略集成到防御者的学习循环中，以确保对不诚实攻击者响应的鲁棒性。
• 通过在合成游戏和基准游戏上的实验评估，比较在存在和不存在所提对策时的收益表现。

实验结果

研究问题

• RQ1 攻击者在Stackelberg安全博弈中，通过提供虚假最优响应反馈，能在多大程度上操纵基于学习的防御者？
• RQ2 在该类操纵下，防御者会收敛到何种战略结果？该结果如何破坏学习过程？
• RQ3 在有限和无限攻击者收益设置下，更高级别的策略承诺框架能否有效对抗攻击者操纵？
• RQ4 在该框架下计算最优策略的计算复杂度如何？是否能够高效求解？
• RQ5 与标准学习方法相比，所提方法在面对操纵时能为防御者带来多大程度的收益提升？

主要发现

• 通过不诚实的最优响应反馈对攻击者进行操纵，会持续导致防御者采用最大化最小值策略，该策略无需依赖攻击者收益信息，从而完全抵消了学习过程的优势。
• 所提出的更高级别策略承诺框架能有效对抗操纵行为，使防御者即使在攻击者撒谎的情况下仍能学习到更有效的策略。
• 在该框架下，存在一种多项式时间算法用于计算最优策略，使其在实际部署中具备计算可行性。
• 即使在攻击者收益空间无限或完全未知的情况下，启发式方法依然有效，显著扩展了该方法的适用范围。
• 实验评估表明，与忽略操纵行为的情况相比，所提方法显著提升了防御者收益。
• 该框架在多种博弈设置下均保持优异性能，证明了其在实际应用中的鲁棒性与可扩展性。