[论文解读] Locally Differentially Private (Contextual) Bandits Learning

Kai Zheng, Tianle Cai+3 more|arXiv (Cornell University)|Jun 1, 2020

Advanced Bandit Algorithms Research参考文献 43被引用 13

一句话总结

本文提出了用于局部差分隐私（LDP）上下文Bandits的黑箱归约框架，可在多种设置下实现改进的遗憾界。它首次在LDP下实现了多点反馈Bandits凸优化（BCO）的$\frac{1}{2}$-遗憾界，并将结果扩展至广义线性Bandits（GLB），实现$\frac{3}{4}$-遗憾界，揭示了LDP与DP在上下文Bandits中存在根本性差距。

ABSTRACT

We study locally differentially private (LDP) bandits learning in this paper. First, we propose simple black-box reduction frameworks that can solve a large family of context-free bandits learning problems with LDP guarantee. Based on our frameworks, we can improve previous best results for private bandits learning with one-point feedback, such as private Bandits Convex Optimization, and obtain the first result for Bandits Convex Optimization (BCO) with multi-point feedback under LDP. LDP guarantee and black-box nature make our frameworks more attractive in real applications compared with previous specifically designed and relatively weaker differentially private (DP) context-free bandits algorithms. Further, we extend our $(\varepsilon, δ)$-LDP algorithm to Generalized Linear Bandits, which enjoys a sub-linear regret $ ilde{O}(T^{3/4}/\varepsilon)$ and is conjectured to be nearly optimal. Note that given the existing $Ω(T)$ lower bound for DP contextual linear bandits (Shariff & Sheffe, 2018), our result shows a fundamental difference between LDP and DP contextual bandits learning.

研究动机与目标

• 为无上下文和上下文Bandits在局部差分隐私（LDP）下的缺乏通用、隐私保护的框架提供解决方案。
• 通过在LDP下实现接近最优的遗憾，弥合非私有与私有Bandits学习之间的差距。
• 将LDP保证扩展至更复杂且更现实的上下文Bandits模型——广义线性Bandits（GLB）。
• 揭示LDP与DP在上下文Bandits中的根本性差异，即LDP导致的遗憾高于DP。

提出的方法

• 提出黑箱归约框架，将任意非私有Bandits算法转换为符合LDP的版本，仅需最小修改。
• 在客户端对用户反馈和上下文向量应用随机化响应与噪声注入，以确保LDP。
• 使用带扰动数据的正则化最小二乘估计，在隐私约束下保持模型准确性。
• 利用浓度不等式和高概率界控制噪声存在下的估计误差。
• 通过估计误差的分解与由设计矩阵诱导的加权内积空间中的范数控制，推导遗憾界。
• 提出一种新颖的分析技术，以控制LDP下正则化最小二乘解的误差，从而获得紧致的遗憾保证。

实验结果

研究问题

• RQ1 能否设计一种通用的黑箱框架，将非私有Bandits算法转换为LDP兼容版本，且性能退化最小？
• RQ2 在LDP下，多点反馈Bandits凸优化（BCO）的最优遗憾能达到多少？
• RQ3 LDP能否有意义地扩展至广义线性Bandits？可实现的遗憾界是什么？
• RQ4 在已知DP的上下文Bandits存在$\tfrac{1}{2}$-遗憾下界的情况下，LDP上下文Bandits的遗憾与DP相比如何？
• RQ5 LDP广义线性Bandits的$\tfrac{3}{4}$-遗憾界是否近乎最优？

主要发现

• 所提出的黑箱框架在$(\varepsilon,\delta)$-LDP下实现了单点反馈BCO的$\tfrac{3}{4}$-遗憾界，优于先前结果。
• 首次在LDP下实现了多点反馈BCO的$\tfrac{1}{2}$-遗憾界，与非私有情况下的最优速率匹配。
• 对于广义线性Bandits，该框架在$(\varepsilon,\delta)$-LDP下实现了$\tfrac{3}{4}$-遗憾界，该结果被推测为近乎最优。
• 分析表明，LDP在上下文Bandits中施加了根本性限制，其遗憾下界为$\tfrac{3}{4}$，而无隐私设置下为$\tfrac{1}{2}$。
• 本文确立了LDP与DP之间的关键差异：尽管DP上下文Bandits的遗憾下界为$\tfrac{1}{2}$，但LDP上下文Bandits无法优于$\tfrac{3}{4}$-遗憾，表明隐私成本更强。
• 该框架在保持强隐私保证（LDP）的同时实现了接近最优的遗憾，适用于涉及敏感用户数据的实际应用场景。