[论文解读] How You Act Tells a Lot: Privacy-Leakage Attack on Deep Reinforcement Learning

Xinlei Pan, Weiyao Wang+4 more|arXiv (Cornell University)|Apr 24, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用 13

一句话总结

本文提出了首个针对深度强化学习（DRL）策略的隐私泄露攻击，表明攻击者仅通过黑盒访问训练好的策略，即可推断出敏感的环境动态信息——例如地图布局或机器人配置。通过基于遗传算法的环境动态恢复与基于影子策略的候选推理方法，作者在网格世界（Grid World）地图重建中实现了高达95.83%的准确率，并在连续控制与自动驾驶模拟器中也取得了高准确率，揭示了DRL系统中显著的隐私风险。

ABSTRACT

Machine learning has been widely applied to various applications, some of which involve training with privacy-sensitive data. A modest number of data breaches have been studied, including credit card information in natural language data and identities from face dataset. However, most of these studies focus on supervised learning models. As deep reinforcement learning (DRL) has been deployed in a number of real-world systems, such as indoor robot navigation, whether trained DRL policies can leak private information requires in-depth study. To explore such privacy breaches in general, we mainly propose two methods: environment dynamics search via genetic algorithm and candidate inference based on shadow policies. We conduct extensive experiments to demonstrate such privacy vulnerabilities in DRL under various settings. We leverage the proposed algorithms to infer floor plans from some trained Grid World navigation DRL agents with LiDAR perception. The proposed algorithm can correctly infer most of the floor plans and reaches an average recovery rate of 95.83% using policy gradient trained agents. In addition, we are able to recover the robot configuration in continuous control environments and an autonomous driving simulator with high accuracy. To the best of our knowledge, this is the first work to investigate privacy leakage in DRL settings and we show that DRL-based agents do potentially leak privacy-sensitive information from the trained policies.

研究动机与目标

• 探究经过训练的深度强化学习（DRL）策略是否可能泄露关于环境转移动态的私密信息。
• 开发实用的攻击方法，仅通过黑盒访问DRL策略，恢复敏感的环境结构——如地图布局或机器人配置。
• 评估在离散环境（网格世界）与连续控制环境（Hopper, Half-Cheetah, Bipedal Walker, TORCS）中隐私泄露攻击的可行性与准确度。
• 通过提升策略在扰动环境中的泛化能力，为设计对隐私泄露攻击具有鲁棒性的DRL策略提供洞见。

提出的方法

• 提出一种遗传算法，在状态空间与动作空间受限的条件下，搜索能够复现给定DRL策略行为的环境转移动态，用于网格世界环境。
• 提出一种基于影子策略的候选推理框架，通过在已知候选环境上训练影子策略，分类目标策略所基于的训练环境。
• 采用线性支持向量机（SVM）分类器，基于策略在多个候选动态下的表现，预测其训练环境。
• 通过在不同候选环境中执行策略滚动（rollouts），生成性能特征作为SVM分类器的输入。
• 在离散环境（网格世界）与连续控制环境（Hopper, Half-Cheetah, Bipedal Walker, TORCS）中应用该攻击方法，以评估其泛化能力。
• 通过在不同随机种子与环境扰动下验证攻击，评估推理方法的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 攻击者是否仅通过黑盒访问训练好的DRL策略，即可推断出原始环境动态信息（如障碍物布局或地形结构）？
• RQ2 基于策略行为，遗传算法在多大程度上能够恢复网格世界环境的真实转移动态？
• RQ3 基于影子策略的推理方法是否能准确识别DRL策略在一组候选动态中的训练环境？
• RQ4 策略在扰动环境中的泛化能力如何影响隐私泄露攻击的成功率？
• RQ5 这些隐私泄露对涉及敏感或私密环境数据的实际DRL部署有何影响？

主要发现

• 所提出的遗传算法在使用策略梯度训练的智能体下，成功以平均95.83%的恢复率重建了原始网格世界地图布局。
• 在连续控制环境（Hopper, Half-Cheetah, Bipedal Walker）中，候选推理方法通过SVM分类策略滚动性能，实现了高准确度的训练环境识别。
• 在TORCS自动驾驶模拟器中，该方法表现出高成功率，因候选动态间性能差异显著，可准确识别训练环境。
• 该攻击在不同随机种子与环境扰动下均表现鲁棒，表明即使具备泛化能力的策略仍可能泄露隐私敏感信息。
• 结果表明，使用PPO和DQN等标准算法训练的DRL策略可能记忆并暴露训练环境的结构细节，构成重大隐私风险。
• 研究发现，对扰动环境具有强泛化能力的策略对这类隐私攻击更具鲁棒性，提示了一条实现隐私保护型DRL设计的可行路径。