[论文解读] Metric-Free Individual Fairness in Online Learning

Yahav Bechavod, Christopher Jung+1 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Bandit Algorithms Research参考文献 20被引用 6

一句话总结

本文提出了一种无需已知或参数化相似度度量的无度量在线学习框架，用于个体公平性。该框架不依赖于相似度的量化度量，而是通过一名审计员识别不公平对待的个体对（即不公平行为），而非度量相似度，从而在最小反馈假设下实现准确性和公平性的次线性遗憾与泛化保证。

ABSTRACT

We study an online learning problem subject to the constraint of individual fairness, which requires that similar individuals are treated similarly. Unlike prior work on individual fairness, we do not assume the similarity measure among individuals is known, nor do we assume that such measure takes a certain parametric form. Instead, we leverage the existence of an auditor who detects fairness violations without enunciating the quantitative measure. In each round, the auditor examines the learner's decisions and attempts to identify a pair of individuals that are treated unfairly by the learner. We provide a general reduction framework that reduces online classification in our model to standard online classification, which allows us to leverage existing online learning algorithms to achieve sub-linear regret and number of fairness violations. Surprisingly, in the stochastic setting where the data are drawn independently from a distribution, we are also able to establish PAC-style fairness and accuracy generalization guarantees (Rothblum and Yona [2018]), despite only having access to a very restricted form of fairness feedback. Our fairness generalization bound qualitatively matches the uniform convergence bound of Rothblum and Yona [2018], while also providing a meaningful accuracy generalization guarantee. Our results resolve an open question by Gillen et al. [2018] by showing that online learning under an unknown individual fairness constraint is possible even without assuming a strong parametric form of the underlying similarity measure.

研究动机与目标

• 解决在线学习中个体公平性问题，而无需假设已知或参数化的相似度度量。
• 通过依赖一种较弱的反馈形式——检测不公平行为，克服从人类处获取定量相似度度量的实际障碍。
• 在反馈有限的随机设定下，为准确性和公平性建立泛化保证。
• 解决Gillen等人（2018）提出的一个开放问题：在无强度量假设下，是否可在未知个体公平性约束下实现在线学习。

提出的方法

• 引入一种归约框架，通过拉格朗日公式将在线公平分类问题转化为标准在线分类问题。
• 在每轮中，由一名审计员识别出一对被不公平对待的个体，而不指定其差异程度。
• 对简化后的问题应用指数加权法与跟随扰动领导者（FTPL）算法，以获得遗憾界。
• 通过类似统一收敛的分析方法推导泛化界，利用审计员的反馈控制公平性偏差。
• 提出一种新颖的遗憾分解方法，通过拉格朗日对偶公式将准确性和公平性目标分离。
• 建立公平性违规水平（λ）与准确性误差项的界，其规模与轮数T及问题复杂度相关。

实验结果

研究问题

• RQ1 是否可在不假设已知或参数化相似度度量的前提下，实现个体公平性下的在线学习？
• RQ2 仅使用审计员提供的违规检测反馈，是否可实现准确性和公平性的次线性遗憾与泛化？
• RQ3 在缺乏完整度量信息的情况下，准确性与公平性泛化率与统一收敛界相比如何？
• RQ4 该框架是否可在仅提供最少反馈（如每轮识别一对不公平个体）的随机设定下实现泛化？
• RQ5 在移除对底层相似度度量的假设后，遗憾率与公平性保证之间的权衡如何？

主要发现

• 所提框架在不假设已知或参数化相似度度量的前提下，实现了准确性和公平性违规的次线性遗憾。
• 对于指数加权法，平均策略 π^avg 的准确性误差为 O(T^(-1/4) / αk · √(ln(|F|/δ)))，公平性违规水平 λ = O((k/α)^(1/2) · (ln(|F|/δ))^(1/4) · T^(-1/8))。
• 对于跟随扰动领导者（FTPL），准确性误差为 O(n^(3/4) · ln(|F|)^(1/2) · T^(-4/9) / (αk) + √(ln(Tk/δ)/T) + T^(-2/9))，公平性违规水平 λ = O(k^(1/2) · n^(3/8) · ln(|F|Tk/δ)^(1/4) · T^(-1/9))。
• 尽管仅接收受限形式的反馈，公平性泛化界在定性上与Rothblum和Yona（2018）的统一收敛界一致。
• 该框架解决了Gillen等人（2018）提出的一个开放问题，表明在无强参数化假设下，未知个体公平性约束下的在线学习是可行的。
• 即使审计员仅在每个时间区间报告单一不公平违规行为，该方法仍能实现非平凡的泛化保证，且无需定量相似度度量。