[论文解读] An Algorithmic Framework to Control Bias in Bandit-based Personalization

L. Elisa Celis, Sayash Kapoor+2 more|arXiv (Cornell University)|Feb 23, 2018

Advanced Bandit Algorithms Research参考文献 12被引用 15

一句话总结

本文提出了一种新颖的算法框架，通过在分层组结构上施加内容组曝光的公平性约束，来控制基于Bandit的个性化中的偏差。该框架引入了两种可扩展的Bandit算法——Fair-EPS与Fair-OFUL，可在保持公平性的同时实现较低的遗憾（regret），实验表明，为实现风险差异小于1−x（x<1/2）的目标，仅造成20x%的收入损失。

ABSTRACT

Personalization is pervasive in the online space as it leads to higher efficiency and revenue by allowing the most relevant content to be served to each user. However, recent studies suggest that personalization methods can propagate societal or systemic biases and polarize opinions; this has led to calls for regulatory mechanisms and algorithms to combat bias and inequality. Algorithmically, bandit optimization has enjoyed great success in learning user preferences and personalizing content or feeds accordingly. We propose an algorithmic framework that allows for the possibility to control bias or discrimination in such bandit-based personalization. Our model allows for the specification of general fairness constraints on the sensitive types of the content that can be displayed to a user. The challenge, however, is to come up with a scalable and low regret algorithm for the constrained optimization problem that arises. Our main technical contribution is a provably fast and low-regret algorithm for the fairness-constrained bandit optimization problem. Our proofs crucially leverage the special structure of our problem. Experiments on synthetic and real-world data sets show that our algorithmic framework can control bias with only a minor loss to revenue.

研究动机与目标

• 解决由于内容选择过度专业化而导致的基于Bandit的个性化系统中系统性偏差与极化问题。
• 开发一种通用且可扩展的框架，使用户能够指定内容组上的自定义公平性约束，而无需固定单一公平性度量指标。
• 设计一种可扩展的低遗憾算法，用于约束型Bandit优化，在确保内容曝光公平性的同时保持高收入。
• 在合成数据集与真实世界数据集（包括YOW数据集）上，实证评估公平性与收入表现之间的权衡。

提出的方法

• 通过在每个组的内容选择概率上施加线性上下界，形式化在线组公平性，确保内容曝光的多样性。
• 将内容选择问题建模为约束优化任务，其中公平性约束被编码为组级别概率的边界。
• 通过整合一种分层的、自底向上的概率分配过程，将现有无约束Bandit算法（如ε-贪婪和OFUL）进行改进，以尊重组约束。
• 采用递归的树状分配策略：首先在叶节点层级（单个臂）满足下界，然后在遵守上界的前提下，将剩余概率分配给收益最高的臂。
• 采用动态边界调整机制：若父组的总概率超过其子组上界之和，则相应地降低父组的上界。
• 通过反证法证明贪婪分配策略是最优的，表明任何其他分配方式均可通过将概率重新分配给最高收益臂而得到改进，且不违反约束。

实验结果

研究问题

• RQ1 是否可以将公平性约束正式整合进基于Bandit的个性化系统中，而不会显著降低收入或遗憾？
• RQ2 如何设计一种通用框架，通过可配置的组约束支持多种公平性度量（如风险差异、代表性差异）？
• RQ3 在受约束优化下，真实世界与合成Bandit设置中公平性与收入之间的权衡如何？
• RQ4 分层组结构与收益分布如何影响公平感知Bandit算法的性能与可扩展性？

主要发现

• Fair-EPS与Fair-OFUL算法在合成数据与真实世界数据上均实现了低遗憾，并快速收敛至约束设置下的理论最优解。
• 当风险差异约束小于1−x（其中x<1/2）时，算法仅造成20x%的收入损失，表明公平性与效用之间的权衡是可接受的。
• 即使在最严格的公平性约束下（如风险差异=0），最优约束收益仍保持在无约束最大收益的2倍以内。
• 所提出的贪婪分配算法时间复杂度为O(gk)，其中g为组层次结构的高度，k为臂的数量，使其适用于大规模网络应用。
• 该框架通过防止过度专业化，成功维持了公平性——即使在系统学习用户偏好后，内容曝光在各组之间仍保持多样化。
• 实验表明，该算法框架能有效控制偏差，同时保持高用户参与度，表明其在新闻推荐流与广告系统中具有实际部署的可行性。