[论文解读] Manipulating Reinforcement Learning: Poisoning Attacks on Cost Signals

Yunhan Huang, Quanyan Zhu|arXiv (Cornell University)|Feb 7, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 4

一句话总结

本文研究了通过操纵代价信号对强化学习实施隐蔽中毒攻击的机制，表明TD-learning的近似误差受攻击幅度的常数倍约束，且与λ参数无关。对于Q-learning，本文识别出一个鲁棒区域，在该区域内攻击无法改变学习到的策略，从而为对抗性强化学习环境中的进攻与防御策略设定了根本性限制。

ABSTRACT

This chapter studies emerging cyber-attacks on reinforcement learning (RL) and introduces a quantitative approach to analyze the vulnerabilities of RL. Focusing on adversarial manipulation on the cost signals, we analyze the performance degradation of TD($λ$) and $Q$-learning algorithms under the manipulation. For TD($λ$), the approximation learned from the manipulated costs has an approximation error bound proportional to the magnitude of the attack. The effect of the adversarial attacks on the bound does not depend on the choice of $λ$. In $Q$-learning, we show that $Q$-learning algorithms converge under stealthy attacks and bounded falsifications on cost signals. We characterize the relation between the falsified cost and the $Q$-factors as well as the policy learned by the learning agent which provides fundamental limits for feasible offensive and defensive moves. We propose a robust region in terms of the cost within which the adversary can never achieve the targeted policy. We provide conditions on the falsified cost which can mislead the agent to learn an adversary's favored policy. A case study of TD($λ$) learning is provided to corroborate the results.

研究动机与目标

• 分析强化学习（RL）算法对代价信号对抗性操纵的脆弱性。
• 量化TD-learning与Q-learning在隐蔽代价信号伪造下的性能退化程度。
• 通过刻画Q-learning中攻击无法实现其目标的鲁棒区域，建立对抗性攻击的根本性限制。
• 为TD-learning中由代价信号操纵引发的近似误差提供理论边界。
• 为设计对欺骗性反馈攻击具有鲁棒性的强化学习系统提供洞见。

提出的方法

• 构建一个通用攻击模型，其中攻击者在马尔可夫决策过程框架内操纵代价信号。
• 分析在代价被篡改情况下的TD(λ)学习，推导出近似误差与攻击幅度成正比的边界，且该边界与λ无关。
• 使用参数化价值函数对代价到目标的估计应用带函数逼近的TD(λ)算法。
• 通过20个状态的马尔可夫链问题案例研究，模拟并验证误差传播的理论边界。
• 刻画Q-learning中伪造代价与学习到的Q值之间的关系，识别出攻击可误导智能体的条件。
• 推导出代价空间中的鲁棒区域，该区域中攻击者无法诱导出目标策略，从而为攻击者与防御者提供战略评估依据。

实验结果

研究问题

• RQ1 对抗性操纵代价信号如何影响TD-learning算法的收敛性与准确性？
• RQ2 在代价信号被伪造时，TD(λ)学习中的近似误差的根本边界是什么？
• RQ3 在何种条件下，攻击者可通过代价信号操纵成功误导Q-learning智能体采用期望策略？
• RQ4 在Q-learning中，攻击无法改变学习策略的代价空间鲁棒区域的大小与结构如何？
• RQ5 TD(λ)中λ的选择如何影响学习算法对代价信号操纵的敏感性？

主要发现

• 在代价信号被操纵的情况下，TD(λ)学习的近似误差受一个常数倍攻击幅度的约束，且该边界与λ参数无关。
• 在Q-learning中，若伪造代价位于一个定义明确的鲁棒区域内，则攻击者无法实现其目标，该区域由对代价偏差的特定约束所刻画。
• 通过使用20个状态的马尔可夫链进行案例研究，验证了TD(λ)学习中近似误差的理论边界，显示误差增长与攻击幅度成比例。
• 即使仅对状态i20的代价信号进行单点操纵，也会在所有状态的估计代价到目标函数中引起显著偏差，表明误差传播现象。
• Q-learning中的鲁棒区域提供了一个战略边界：防御者可评估系统鲁棒性，攻击者可评估其目标的可行性。
• 结果表明，尽管攻击可导致性能下降，但其有效性存在内在限制，尤其在Q-learning中存在一个代价的安全区域。