[论文解读] Fair Exploration via Axiomatic Bargaining

Jackie Baek, Vivek F. Farias|arXiv (Cornell University)|Jun 4, 2021

Advanced Bandit Algorithms Research参考文献 31被引用 9

一句话总结

本文提出了一种基于公理化议价（特别是纳什议价解）的上下文Bandit模型中的公平探索框架，以公平方式在不同人口群体间分配探索成本。研究证明，最优遗憾策略会不公平地加重弱势群体的负担，而本文提出的公平策略在保持近似最优遗憾的同时，实现了有界的公平代价，该结论在华法林剂量调整的案例研究中得到验证。

ABSTRACT

Exploration is often necessary in online learning to maximize long-term reward, but it comes at the cost of short-term 'regret'. We study how this cost of exploration is shared across multiple groups. For example, in a clinical trial setting, patients who are assigned a sub-optimal treatment effectively incur the cost of exploration. When patients are associated with natural groups on the basis of, say, race or age, it is natural to ask whether the cost of exploration borne by any single group is 'fair'. So motivated, we introduce the 'grouped' bandit model. We leverage the theory of axiomatic bargaining, and the Nash bargaining solution in particular, to formalize what might constitute a fair division of the cost of exploration across groups. On the one hand, we show that any regret-optimal policy strikingly results in the least fair outcome: such policies will perversely leverage the most 'disadvantaged' groups when they can. More constructively, we derive policies that are optimally fair and simultaneously enjoy a small 'price of fairness'. We illustrate the relative merits of our algorithmic framework with a case study on contextual bandits for warfarin dosing where we are concerned with the cost of exploration across multiple races and age groups.

研究动机与目标

• 解决在线学习系统中不同人口群体间探索成本分配不均的伦理问题。
• 利用公理化议价理论（特别是纳什议价解）形式化探索成本分配的公平性。
• 设计在公平性与近似最优遗憾之间平衡的学习策略，最小化公平代价。
• 在真实医疗场景中验证该框架——在不同种族与年龄群体中实现个性化华法林剂量调整。
• 证明标准的最小遗憾策略本质上会剥削弱势群体，违背公平原则。

提出的方法

• 提出“分组Bandit”模型，其中每组具有不同的到达概率和动作集合，以组为单位衡量遗憾。
• 定义增量效用为相对于该组个体最优表现的遗憾减少量，作为议价的基础。
• 应用纳什议价解以最大化增量效用的乘积，通过公理性质（对称性、帕累托效率等）确保公平性。
• 推导出在可实现遗憾分布上优化纳什社会福利（NSW）函数的策略，平衡公平性与性能。
• 使用渐近遗憾分析与集中不等式，建立公平性与遗憾权衡的理论保证。
• 采用KL-UCB及其他Bandit算法作为基线，比较公平性与遗憾表现。

实验结果

研究问题

• RQ1 如何在在线学习中公平地在不同人口群体间分配探索成本？
• RQ2 在多群体Bandit设置中，什么性质定义了群体间遗憾分配的公平性？
• RQ3 标准的最小遗憾策略在多大程度上通过不成比例地加重弱势群体负担而加剧了不平等？
• RQ4 能否设计一种策略，在实现近似最优遗憾的同时确保群体间遗憾分配的公平性？
• RQ5 在此类框架中，公平的代价——即公平性与总体遗憾之间的权衡——是多少？

主要发现

• 最优遗憾策略（如KL-UCB）导致最不公平的结果，不成比例地将探索成本分配给最弱势群体。
• 基于纳什议价解的所提公平策略实现了有界的公平代价，确保无群体承担过高的遗憾份额。
• 理论分析表明，基于纳什议价的策略渐近地最大化各群体增量效用（遗憾减少量）的乘积。
• 在华法林剂量调整的案例研究中，该公平策略显著降低了不同种族与年龄群体间的遗憾差异，优于标准Bandit策略。
• 证明纳什议价解是唯一满足关键公平公理的解，使其成为公平探索的合理选择。
• 本文建立该公平策略的渐近遗憾在最优遗憾的常数倍范围内，证明公平性无需以性能为代价。