[论文解读] Mitigating Bias in Adaptive Data Gathering via Differential Privacy

Seth Neel, Aaron Roth|arXiv (Cornell University)|Jun 6, 2018

Advanced Bandit Algorithms Research参考文献 28被引用 4

一句话总结

本文提出在自适应数据收集（如多臂赌博机算法）中使用差分隐私，以缓解经验估计中的系统性偏差和无效的统计推断。通过确保选择决策具有差分隐私性，该方法限制了均值估计中的偏差，并支持有效的p值校正，在随机和线性上下文赌博机设置中实现了近乎最优的遗憾，且具有强大的理论保证。

ABSTRACT

Data that is gathered adaptively --- via bandit algorithms, for example --- exhibits bias. This is true both when gathering simple numeric valued data --- the empirical means kept track of by stochastic bandit algorithms are biased downwards --- and when gathering more complicated data --- running hypothesis tests on complex data gathered via contextual bandit algorithms leads to false discovery. In this paper, we show that this problem is mitigated if the data collection procedure is differentially private. This lets us both bound the bias of simple numeric valued quantities (like the empirical means of stochastic bandit algorithms), and correct the p-values of hypothesis tests run on the adaptively gathered data. Moreover, there exist differentially private bandit algorithms with near optimal regret bounds: we apply existing theorems in the simple stochastic case, and give a new analysis for linear contextual bandits. We complement our theoretical results with experiments validating our theory.

研究动机与目标

• 解决自适应数据收集中的系统性偏差问题，其中数据点的选择依赖于先前的观测结果，导致经验估计失真和错误发现。
• 通过引入一种通用且基于原理的方法——使用差分隐私，克服现有去偏方法需要复杂后处理或仅限于特定模型的局限性。
• 为简单随机赌博机和线性上下文赌博机提供偏差的理论边界，确保无需额外去偏程序即可具备鲁棒性。
• 实现在自适应收集数据上的有效统计推断——特别是校正后的p值——这对于顺序实验中的假设检验至关重要。
• 开发具有近乎最优遗憾和强偏差保证的差分隐私赌博机算法，适用于现实世界中的自适应学习系统。

提出的方法

• 将差分隐私应用于赌博机算法的选择机制，确保探索或利用各臂的决策仅对观测到的奖励有微弱依赖，从而限制信息泄露。
• 利用差分隐私与自适应数据分析之间的联系，通过Dwork等人（2015）提出的最大信息技术，限制随机赌博机中经验均值的偏差。
• 设计一种差分隐私版本的UCB算法（私有UCB），其经验均值偏差控制在 $ O(1/\sqrt{K \cdot T}) $ 量级，显著低于非私有UCB。
• 通过确保基于奖励的决策具有差分隐私性，将该框架扩展到线性上下文赌博机，同时允许上下文公开，从而在准确度上优于先前的私有上下文赌博机方法。
• 应用现有的基于隐私的自适应分析工具（如最大信息边界）对自适应收集数据的假设检验进行p值校正，确保第一类错误控制有效。
• 使用蒙特卡洛模拟验证理论结论，比较私有与非私有赌博机算法在偏差、遗憾和p值分布等指标上的表现。

实验结果

研究问题

• RQ1 在随机赌博机设置中，差分隐私能否用于限制自适应数据收集产生的经验均值估计的偏差？
• RQ2 差分隐私是否能实现在自适应程序（如上下文赌博机）收集的数据上的有效统计推断——特别是校正后的p值？
• RQ3 差分隐私赌博机算法能否在实现近乎最优遗憾的同时，确保估计臂均值的低偏差？
• RQ4 在随机和线性上下文设置下，私有与非私有赌博机算法在经验均值和p值的偏差上存在何种差异？
• RQ5 从差分隐私得出的偏差理论边界在实践中在多大程度上成立？与模拟中的经验观察相比如何？

主要发现

• 在500轮、20个臂的实验中，私有UCB将平均绝对偏差降低至0.00176，而非私有UCB的偏差高达0.0698，偏差高出逾40倍。
• 在第二组实验中，$ K=5 $，$ T=100,000 $，且 $ \epsilon=400 $ 时，私有UCB每条臂的平均偏差为0.0015（与零无统计差异），而非私有UCB的偏差为0.011，高出7.5倍。
• 在非私有UCB中，最偏差的臂其偏差约为0.14，表明存在强烈的负偏斜；而私有UCB未表现出此类偏斜，偏差与零无统计差异。
• 在线性上下文赌博机中，当原假设为真时，非私有UCB在零回归系数的z检验中导致76%的错误发现率，表明因自适应性造成严重的p值膨胀。
• 非私有UCB的p值分布呈强烈向下偏斜，76%的p值低于0.05的阈值，而原假设下理论期望应为5%，证实推断无效。
• 私有UCB保持了与非私有UCB相当的次线性遗憾，表明在测试设置中，隐私并未以学习效率为代价。