[论文解读] FARE: Provably Fair Representation Learning with Practical Certificates

Nikola Jovanović, Mislav Balunović+2 more|arXiv (Cornell University)|Oct 13, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

FARE 是一种新颖的公平表示学习方法，通过将编码器输出限制在有限的表示集合中，提供实用且可证明的公平性证书。采用基于树的编码器，FARE 可为任何下游分类器计算不公平性的高置信度上界，实现紧密的证书和在真实数据集上的竞争力强的准确率-公平性权衡。

ABSTRACT

Fair representation learning (FRL) is a popular class of methods aiming to produce fair classifiers via data preprocessing. Recent regulatory directives stress the need for FRL methods that provide practical certificates, i.e., provable upper bounds on the unfairness of any downstream classifier trained on preprocessed data, which directly provides assurance in a practical scenario. Creating such FRL methods is an important challenge that remains unsolved. In this work, we address that challenge and introduce FARE (Fairness with Restricted Encoders), the first FRL method with practical fairness certificates. FARE is based on our key insight that restricting the representation space of the encoder enables the derivation of practical guarantees, while still permitting favorable accuracy-fairness tradeoffs for suitable instantiations, such as one we propose based on fair trees. To produce a practical certificate, we develop and apply a statistical procedure that computes a finite sample high-confidence upper bound on the unfairness of any downstream classifier trained on FARE embeddings. In our comprehensive experimental evaluation, we demonstrate that FARE produces practical certificates that are tight and often even comparable with purely empirical results obtained by prior methods, which establishes the practical value of our approach.

研究动机与目标

• 解决机器学习中可证明公平性保证的关键需求，特别是在偏见模型可能导致法律、财务或社会损害的高风险应用中。
• 克服先前公平表示学习方法在下游分类器上缺乏实用且有限样本公平性证书的局限性。
• 开发一种方法，为不公平性提供紧致且高置信度的上界，而无需假设数据分布或模型行为的知识。
• 通过确保任何在嵌入上训练的分类器都可证明公平（即使消费者为对抗性或不知情），实现公平表示的实用部署。
• 通过设计高效且可解释的编码器，在保持强经验性能的同时实现理论保证，平衡公平性与准确性。

提出的方法

• 引入一种受限编码器，将输入数据映射到有限个表示，限制表示空间以支持理论分析。
• 使用基于决策树的编码器将输入空间划分为 k 个单元，每个单元映射到单一表示向量，实现离散且可解释的表示。
• 利用训练数据估计每个表示单元内敏感属性的经验分布，计算 P(s=0|z_i) 和 P(s=1|z_i)。
• 应用统计程序，为在表示上训练的任何下游分类器计算 demographic parity 距离的高置信度、有限样本上界。
• 利用集中不等式和经验估计，推导出可证明地对所有 G 中可能分类器上界不公平性的公平性证书 T*。
• 通过利用表示空间的有限性及统计置信区间，确保证书紧致且非平凡。

实验结果

研究问题

• RQ1 我们能否设计一种公平表示学习方法，为任何下游分类器提供实用且有限样本的公平性证书，而无需分布假设？
• RQ2 我们如何限制编码器的表示空间，以在保持有利的准确率-公平性权衡的同时实现可证明的公平性保证？
• RQ3 与先前方法的经验公平性估计相比，FARE 的公平性证书 T* 在真实世界数据集上能在多大程度上实现紧致且非平凡？
• RQ4 在多任务和下游预测设置中，FARE 表示的可解释性和可迁移性与最先进 FRL 方法相比如何？
• RQ5 受限编码器框架能否扩展以处理多值敏感属性或分布漂移，同时保持公平性保证？

主要发现

• FARE 生成的公平性证书 T* 紧凑，且其数量级通常与先前方法的纯经验公平性估计相当，证明了其实际效用。
• 在多个真实世界数据集上，FARE 实现的准确率-公平性权衡与最先进 FRL 方法相比具有竞争力，尽管提供了可证明的保证。
• 迁移学习评估表明，FARE 在 Health 数据集的五个未见任务中，能持续将 demographic parity 距离降低至阈值以下（例如 ΔDP ≤ 0.20），同时保持有效证书。
• 在相同公平性阈值下，FARE 的准确率略低于某些基线方法（例如，在任务 MIS 上为 79.3% vs. 79.8%），但这是为换取可证明公平性保证所付出的合理权衡。
• 基于树的编码器实现了直接可解释性：例如，一个表示 z₆ 对应于年龄超过 24 岁、拥有学士学位且从事管理/相关职业的个体。
• 证书 T* 在不同下游模型（如 1-NN、SVM）上均保持有效，避免了先前依赖特定模型类的方法中出现的不公平性低估问题。