[论文解读] Defense Against Reward Poisoning Attacks in Reinforcement Learning

Kiarash Banihashem, Adish Singla+1 more|arXiv (Cornell University)|Feb 10, 2021

Adversarial Robustness in Machine Learning参考文献 44被引用 9

一句话总结

本文提出了一种优化框架，通过在从污染奖励中推导出的合理真实奖励函数下最大化最坏情况性能，以防御强化学习中的奖励污染攻击。该防御方法具备可证明的性能保证，包括预期回报的下限以及相对于攻击者目标策略的次优性上限，并在模拟环境中得到了实证验证。

ABSTRACT

We study defense strategies against reward poisoning attacks in reinforcement learning. As a threat model, we consider attacks that minimally alter rewards to make the attacker's target policy uniquely optimal under the poisoned rewards, with the optimality gap specified by an attack parameter. Our goal is to design agents that are robust against such attacks in terms of the worst-case utility w.r.t. the true, unpoisoned, rewards while computing their policies under the poisoned rewards. We propose an optimization framework for deriving optimal defense policies, both when the attack parameter is known and unknown. Moreover, we show that defense policies that are solutions to the proposed optimization problems have provable performance guarantees. In particular, we provide the following bounds with respect to the true, unpoisoned, rewards: a) lower bounds on the expected return of the defense policies, and b) upper bounds on how suboptimal these defense policies are compared to the attacker's target policy. We conclude the paper by illustrating the intuitions behind our formal results, and showing that the derived bounds are non-trivial.

研究动机与目标

• 设计防御策略，即使在训练期间遭受奖励污染攻击，也能在真实奖励下保持高实用性。
• 解决智能体仅能观测到污染奖励，但必须在未污染的真实奖励函数下表现良好的挑战。
• 利用奖励污染攻击中的结构约束——特别是最小修改成本——来推断合理的真正奖励函数。
• 开发一种可证明鲁棒的防御策略，具备预期回报的保证下限和相对于攻击者目标策略的次优性上界。

提出的方法

• 将防御问题形式化为在与污染奖励和攻击约束一致的合理真正奖励函数集合上的优化问题。
• 使用状态-动作占据度量来表征奖励扰动如何影响策略最优性，从而实现对合理真正奖励的推断。
• 通过在所有合理真正奖励函数中最大化最坏情况下的预期回报来构建防御策略，确保对对抗性奖励操纵的鲁棒性。
• 采用对偶优化框架，同时考虑已知和未知的攻击参数，从而支持自适应防御策略。
• 利用攻击者的最优性差距和奖励污染机制的结构，推导出防御性能的理论边界。
• 通过在链式MDP环境中的仿真验证该方法，结果表明其性能显著优于攻击者的目标策略和基线防御策略。

实验结果

研究问题

• RQ1 我们能否设计一种防御策略，在仅观测到污染奖励的情况下，仍能在真实奖励函数下保持较高的预期回报？
• RQ2 我们如何利用奖励污染攻击的结构约束（如最小成本）来推断合理的真正奖励函数？
• RQ3 对于一种在合理真正奖励上最大化最坏情况效用的防御策略，可以提供哪些理论性能保证？
• RQ4 在真实奖励函数下，该防御策略与攻击者的目标策略相比，性能如何？
• RQ5 当攻击参数（例如最优性差距）未知时，该防御策略是否仍能有效优化？

主要发现

• 该防御策略在真实奖励函数下实现了预期回报的下限，确保其表现至少达到基线阈值。
• 该防御策略在真实奖励下可证明地处于最优策略的有界距离内，次优性上界由攻击参数的函数决定。
• 在仿真中，该防御策略在真实奖励下的得分为0.03，显著优于攻击者的目标策略在相同度量下的-0.42分。
• 该防御策略在真实奖励下的表现始终不低于其在污染奖励下的表现，验证了理论预测。
• 该攻击对防御策略的影响至少为攻击者策略影响的1/(2+δ)倍，外加一个常数C，表明其对攻击严重程度增加具有鲁棒性。
• 即使攻击参数未知，该框架仍保持有效性，通过在一组合理攻击情景上进行优化实现。