[论文解读] An Optimal Private Stochastic-MAB Algorithm Based on an Optimal Private Stopping Rule

Touqir Sajed, Or Sheffet|arXiv (Cornell University)|May 22, 2019

Auction Theory and Applications被引用 12

一句话总结

本文提出了一种基于新颖私有停止规则的差分隐私随机多臂老虎机（MAB）算法，实现了最优的遗憾界 $O\left(\frac{K\log T}{\varepsilon}\right)$，该结果与非私有情况下的理论下界以及近期建立的私有下界完全一致。该方法采用私有版本的连续消除法，用最优的私有停止规则替代了先前私有UCB算法中次优的基于树的机制，以实现对均值的最优估计。

ABSTRACT

We present a provably optimal differentially private algorithm for the stochastic multi-arm bandit problem, as opposed to the private analogue of the UCB-algorithm [Mishra and Thakurta, 2015; Tossou and Dimitrakakis, 2016] which doesn't meet the recently discovered lower-bound of $Ω\left(\frac{K\log(T)}ε ight)$ [Shariff and Sheffet, 2018]. Our construction is based on a different algorithm, Successive Elimination [Even-Dar et al. 2002], that repeatedly pulls all remaining arms until an arm is found to be suboptimal and is then eliminated. In order to devise a private analogue of Successive Elimination we visit the problem of private stopping rule, that takes as input a stream of i.i.d samples from an unknown distribution and returns a multiplicative $(1 \pm α)$-approximation of the distribution's mean, and prove the optimality of our private stopping rule. We then present the private Successive Elimination algorithm which meets both the non-private lower bound [Lai and Robbins, 1985] and the above-mentioned private lower bound. We also compare empirically the performance of our algorithm with the private UCB algorithm.

研究动机与目标

• 为弥合理论下界与现有差分隐私MAB算法性能之间的差距，后者由于噪声置信区间导致遗憾值次优。
• 设计一种在纯 $\varepsilon$-差分隐私下实现最优遗憾的连续消除算法的私有版本。
• 设计并证明一种私有停止规则的最优性，该规则可在最小噪声下实现对分布均值的 $1\pm\alpha$ 精度近似。
• 通过实证结果表明，所提出的算法在多种设置下，其伪遗憾表现优于现有私有UCB变体。

提出的方法

• 该算法基于连续消除法，通过维护所有活跃臂的置信区间，并在确定性排除次优臂后将其移除。
• 引入一种私有停止规则，用于使用独立同分布样本估计分布均值，确保 $\varepsilon$-差分隐私，同时在最优样本复杂度下实现 $1\pm\alpha$ 的近似精度。
• 该私有停止规则采用一种新颖的噪声机制，避免了基于树机制导致的 $\log^3 T$ 噪声膨胀，实现每时间步 $O(\log T / \varepsilon)$ 的噪声水平。
• 私有连续消除算法整合该停止规则，以私有方式估计臂的均值，并以最小遗憾实现次优臂的剔除。
• 理论分析证明，该算法同时满足Lai和Robbins（1985）提出的非私有下界以及Shariff和Sheffet（2018）建立的私有下界。
• 实验评估在四种具有不同 $K$、$\varepsilon$ 和奖励差距结构的合成设置下，将该算法与私有UCB进行了对比。

实验结果

研究问题

• RQ1 能否设计一种差分隐私MAB算法，实现最优遗憾界 $O\left(\frac{K\log T}{\varepsilon}\right)$，使其与非私有及私有的信息论下界完全一致？
• RQ2 是否可能设计一种私有停止规则，在最小化噪声的同时实现 $\varepsilon$-DP 下对分布均值的 $1\pm\alpha$ 精度近似，并达到最优样本复杂度？
• RQ3 在连续消除框架中，用私有停止规则替代私有UCB中的基于树的机制，是否能显著提升实际性能？
• RQ4 私有连续消除算法是否能在多种老虎机设置下，以伪遗憾指标优于现有私有UCB算法？

主要发现

• 所提出的私有连续消除算法实现了 $O\left(\frac{K\log T}{\varepsilon}\right)$ 的遗憾，与非私有和私有下界完全一致，证明了其最优性。
• 该私有停止规则被证明是最优的，其样本复杂度与私有均值估计的信息论下界完全匹配。
• 在所有测试设置中，私有连续消除算法的伪遗憾均优于私有UCB至少五倍。
• 所提算法的伪遗憾曲线呈分段线性，表明次优臂被早期剔除，而私有UCB的曲线则较为平滑，持续拉动次优臂。
• 该算法在不同 $K$、$\varepsilon$ 和奖励差距结构下均表现出稳健性能，且始终显著优于私有UCB。
• 结果表明，将基于树的机制替换为私有停止规则，是实现在私有MAB中达到最优遗憾的关键。