[论文解读] Long-Term Fairness with Unknown Dynamics

Tongxin Yin, Reilly Raab+2 more|arXiv (Cornell University)|Apr 19, 2023

Evolutionary Game Theory and Cooperation被引用 6

一句话总结

本文提出了一种强化学习框架，用于在动态群体中实现长期公平性，系统动态未知，代理通过牺牲短期效用以实现更优的长期公平性和效用结果。该文提出 L-UCBFair 算法，具备高概率的次线性遗憾和失真边界，并通过合成与真实世界实验表明，强化学习可引导群体达到在短视优化下无法实现的公平均衡。

ABSTRACT

While machine learning can myopically reinforce social inequalities, it may also be used to dynamically seek equitable outcomes. In this paper, we formalize long-term fairness in the context of online reinforcement learning. This formulation can accommodate dynamical control objectives, such as driving equity inherent in the state of a population, that cannot be incorporated into static formulations of fairness. We demonstrate that this framing allows an algorithm to adapt to unknown dynamics by sacrificing short-term incentives to drive a classifier-population system towards more desirable equilibria. For the proposed setting, we develop an algorithm that adapts recent work in online learning. We prove that this algorithm achieves simultaneous probabilistic bounds on cumulative loss and cumulative violations of fairness (as statistical regularities between demographic groups). We compare our proposed algorithm to the repeated retraining of myopic classifiers, as a baseline, and to a deep reinforcement learning algorithm that lacks safety guarantees. Our experiments model human populations according to evolutionary game theory and integrate real-world datasets.

研究动机与目标

• 将长期公平性形式化为一个带累积损失与公平性约束的强化学习问题，以解决静态公平性公式存在的局限性。
• 开发一种算法，通过牺牲短期效用以适应未知系统动态，从而达到更理想的长期均衡。
• 在一般动力学假设下，为累积损失与公平性违规（失真）提供理论保证。
• 通过深度强化学习方法在无严格假设条件下，展示强化学习在长期公平性中的实际适用性。
• 证明通过长期强化学习可实现短视学习下不可行的公平性概念，如资格率均等。

提出的方法

• 将长期公平性形式化为一个受限在线强化学习问题，以最小化累积损失与累积公平性违规（失真），其中公平性定义为不同人口群体间的统计差异。
• 提出 L-UCBFair，一种基于 UCB 式探索的在线强化学习算法，在温和的动力学假设下，理论上可实现高概率的次线性遗憾与失真边界。
• 采用时间依赖的正则化拉格朗日松弛方法，将 TD3 算法改造为 R-TD3，以实现连续状态与动作空间中的实际部署。
• 利用演化博弈论建模群体状态动力学，其中个体行为（如资格率）会随分类器策略的变化而演化。
• 将真实世界数据集（如 Adult 数据集）与重加权技术结合，以确保模拟中各群体的代表性均衡。
• 使用相图与滑动窗口平均值可视化长期系统动力学及损失与公平性指标的训练收敛性。

实验结果

研究问题

• RQ1 强化学习能否用于在群体行为随算法决策自适应演化的系统中实现长期公平性？
• RQ2 在未知系统动态下，强化学习智能体能否学会牺牲短期效用以达到更公平的长期均衡？
• RQ3 在连续、非凸且未知的动力学系统中，能否为累积损失与公平性违规建立理论保证？
• RQ4 深度强化学习方法如 R-TD3 是否能在无理论保证的情况下实现类似的公平性结果？与可证明安全的算法相比表现如何？
• RQ5 通过长期强化学习能否实现短视分类下不可行的公平性概念，如资格率均等？

主要发现

• L-UCBFair 在高概率下实现了次线性遗憾与失真边界，证明了在温和假设下理论上的安全性与向最优均衡收敛。
• 在合成实验中，L-UCBFair 使群体达到普遍资格（Pr(Y=1) → 1），而短视分类器则导致群体普遍不资格（Pr(Y=1) → 0）。
• 在重加权的 Adult 数据集上，L-UCBFair 在各群体中保持了 [0.49, 0.38] 的平均资格率，且具备非平凡的真实阳性率，避免了短视策略中常见的崩溃现象。
• R-TD3 实现了定性相似的长期行为，但造成了显著的短期公平性违规，且未能渐近收敛至全局最优，凸显其缺乏安全保证。
• 在图 4 中，L-UCBFair 与 R-TD3 均实现了资格率均等（QR），但 L-UCBFair 未能达到 R-TD3 所发现的最优均衡，表明探索与收敛之间存在权衡。
• 结果证实，通过强化学习实现的长期公平性可化解即时公平性指标（如接受率）与潜在分布公平性（如资格率）之间的权衡，从而实现此前无法达到的均衡。