[论文解读] Online Learning via Differential Privacy.

Jacob Abernethy, Chansoo Lee+2 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Bandit Algorithms Research参考文献 16被引用 7

一句话总结

本文引入了一步微分稳定性，以在在线学习中实现更紧致的遗憾分析，利用微分隐私工具，推导出在完整信息和部分信息设置下，跟随扰动领导者算法的一阶遗憾界。此外，还将最大散度推广为塔萨里斯最大散度，增强了在多臂赌博机问题中的稳定性分析。

ABSTRACT

In this paper, we use differential privacy as a lens to examine online learning in both full and partial information settings. The differential privacy framework is, at heart, less about privacy and more about algorithmic stability, and thus has found application in domains well beyond those where information security is central. Here we develop an algorithmic property called one-step differential stability which facilitates a more refined regret analysis for online learning methods. We show that tools from the differential privacy literature can yield regret bounds for many interesting online learning problems including online convex optimization and online linear optimization. Our stability notion is particularly well-suited for deriving first-order regret bounds for follow-the-perturbed-leader algorithms, something that all previous analyses have struggled to achieve. We also generalize the standard max-divergence to obtain a broader class called Tsallis max-divergences. These define stronger notions of stability that are useful in deriving bounds in partial information settings such as multi-armed bandits and bandits with experts.

研究动机与目标

• 开发一种更精细的稳定性概念——一步微分稳定性，用于分析在线学习算法并获得改进的遗憾界。
• 应用微分隐私工具于在线凸优化与线性优化，将其效用从隐私保护扩展至算法稳定性。
• 为跟随扰动领导者算法实现一阶遗憾界，这是此前文献中尚未解决的挑战。
• 将最大散度推广为塔萨里斯最大散度，以在部分信息设置（如多臂赌博机）中获得更强的稳定性保证。
• 通过源自微分隐私的增强稳定性度量，实现对带专家的赌博机问题的更紧致遗憾分析。

提出的方法

• 提出一步微分稳定性作为专为在线学习遗憾分析设计的新算法稳定性属性。
• 应用微分隐私技术推导完整信息设置下的遗憾界，如在线凸优化。
• 利用一步微分稳定性，为跟随扰动领导者算法实现一阶遗憾界，克服先前分析的局限性。
• 将标准最大散度推广为塔萨里斯最大散度，使部分信息设置中的稳定性概念更强。
• 将塔萨里斯最大散度应用于赌博机问题，包括多臂赌博机与带专家的赌博机，以推导更紧致的遗憾界。
• 利用微分隐私与算法稳定性之间的联系，统一并加强各类在线学习框架中的遗憾分析。

实验结果

研究问题

• RQ1 一步微分稳定性能否用于推导在线学习算法的更紧致遗憾界？
• RQ2 微分隐私工具如何被重新利用以在隐私问题之外增强遗憾分析？
• RQ3 为何先前的分析未能为跟随扰动领导者算法实现一阶遗憾界，而一步稳定性能否解决此问题？
• RQ4 像塔萨里斯最大散度这样的广义散度能否改善部分信息设置中的稳定性与遗憾界？
• RQ5 微分隐私的稳定性框架在多大程度上可扩展至带专家的赌博机问题？

主要发现

• 一步微分稳定性首次实现了对跟随扰动领导者算法的一阶遗憾界推导，解决了文献中长期存在的局限性。
• 微分隐私工具的应用在在线凸优化与线性优化中获得了改进的遗憾界，即使在非隐私保护场景下亦成立。
• 塔萨里斯最大散度推广了标准最大散度，在多臂赌博机等部分信息设置中提供了更强的稳定性保证。
• 所提出的稳定性框架使带专家的赌博机问题的遗憾分析更紧致，通过增强的散度度量优于现有界限。
• 微分隐私与算法稳定性的联系得到形式化并加以利用，统一并加强了各类在线学习模型中的遗憾分析。
• 通过利用精细化的稳定性概念与广义散度，该方法在完整信息与部分信息设置中均实现了可证明更优的遗憾性能。