[论文解读] Differentially Private Policy Evaluation

Borja Balle, Maziar Gomrokchi+1 more|arXiv (Cornell University)|Mar 7, 2016

Privacy-Preserving Technologies in Data参考文献 8被引用 9

一句话总结

本论文提出了马尔可夫决策过程（MDP）中强化学习策略评估的首个差分隐私算法，通过两种不同方法——LSL 和 LSW——将高斯噪声注入价值函数参数，实现了强大的隐私保障，并在批量大小增加时显著降低效用损失，尤其在大规模数据设置下表现优异。

ABSTRACT

We present the first differentially private algorithms for reinforcement learning, which apply to the task of evaluating a fixed policy. We establish two approaches for achieving differential privacy, provide a theoretical analysis of the privacy and utility of the two algorithms, and show promising results on simple empirical examples.

研究动机与目标

• 为解决完整 MDP 强化学习中缺乏差分隐私方法的问题，特别是策略评估方面。
• 确保在医疗保健和推荐系统等敏感应用场景中的隐私保护，其中必须保护个体数据。
• 开发在训练数据规模增大时仍能保持高效率的差分隐私算法。
• 在差分隐私框架下，正式分析策略评估中的隐私-效用权衡。
• 将现有输出扰动技术扩展至非-Lipschitz、基于轨迹的学习设置。

提出的方法

• 提出两种差分隐私蒙特卡洛策略评估算法：LSL（局部敏感性）和 LSW（加权平滑敏感性）。
• 通过局部或平滑敏感性校准，将高斯噪声注入价值函数参数，以确保 (ε,δ)-差分隐私。
• 采用平滑敏感性框架，以应对策略评估中损失函数非-Lipschitz的特性。
• 应用针对轨迹级数据差异的输出扰动机制，其中相邻数据集的差异在于整个轨迹而非单个数据点。
• 在 LSL 方法中，采用与 √m 成比例的正则化调度，以在隐私与效用之间取得平衡。
• 使用状态聚合与函数逼近技术减少参数数量，提升噪声效率与收敛性。

实验结果

研究问题

• RQ1 在价值函数估计具有非-Lipschitz特性的前提下，差分隐私能否在完整 MDP 策略评估中有意义地应用？
• RQ2 当相邻数据集的差异在于整个轨迹而非单个数据点时，如何实现差分隐私？
• RQ3 批量大小对差分隐私策略评估中隐私-效用权衡有何影响？
• RQ4 在隐私约束下，LSL 与 LSW 方法在收敛速度与准确性方面如何比较？
• RQ5 激进的函数逼近能否提升差分隐私策略评估算法的性能？

主要发现

• 当批量大小足够大时，DP-LSL 与 DP-LSW 算法收敛至与非私有蒙特卡洛方法相同的解。
• 在大规模批量下，差分隐私带来的效用损失迅速减小，均方根误差（RMSE）趋近于非私有方法的水平。
• LSL 方法在小批量下表现更优，而 LSW 方法在大批量下更具优势。
• 激进的函数逼近可减少参数数量，降低平滑敏感性，从而提升噪声效率。
• 理论分析表明，随着批量大小增加，隐私成本降低，支持在真实应用中的可扩展性。
• 实验结果证实，两种 DP 算法在提供正式 (ε,δ)-差分隐私保障的同时，仍保持高精度。