[论文解读] Learning Certified Individually Fair Representations

Anian Ruoss, Mislav Balunović+2 more|arXiv (Cornell University)|Feb 24, 2020

Ethics and Social Impacts of AI参考文献 56被引用 27

一句话总结

本文提出 LCIFR，这是首个通过潜在空间邻近性并利用 $ε$-鲁棒性保证来学习并认证个体公平表征的方法。通过训练编码器将 $\ell_\infty$-距离 $\epsilon$ 内的相似个体映射至潜在空间，同时借助凸松弛实现模块化认证，该方法在五个真实世界数据集上对未见数据点的认证公平性最高提升了 72.6%。

ABSTRACT

Fair representation learning provides an effective way of enforcing fairness constraints without compromising utility for downstream users. A desirable family of such fairness constraints, each requiring similar treatment for similar individuals, is known as individual fairness. In this work, we introduce the first method that enables data consumers to obtain certificates of individual fairness for existing and new data points. The key idea is to map similar individuals to close latent representations and leverage this latent proximity to certify individual fairness. That is, our method enables the data producer to learn and certify a representation where for a data point all similar individuals are at $\ell_\infty$-distance at most $ε$, thus allowing data consumers to certify individual fairness by proving $ε$-robustness of their classifier. Our experimental evaluation on five real-world datasets and several fairness constraints demonstrates the expressivity and scalability of our approach.

研究动机与目标

• 解决在不损害模型效用或不依赖数据生产者与消费者之间信任的前提下，强制执行并认证机器学习中的个体公平性挑战。
• 使数据消费者能够在不访问原始公平性约束或训练数据的情况下，验证现有及新数据点的个体公平性。
• 提供一种实用、可扩展且模块化的框架，用于学习个体公平表征，支持迁移学习和多种公平性约束。
• 开发一种方法，使数据生产者能够使用逻辑上可解释的相似性约束，生成个体公平性的可证明证书。
• 确保与现有表征学习流程兼容，同时保持计算效率和高认证率。

提出的方法

• 通过声明式、可解释的逻辑约束 $\phi(x, x')$ 定义个体公平性，该约束用于判断两个个体是否被视为相似。
• 训练编码器 $f_\theta$，将相似个体（$\phi(x, x') = 1$）映射至 $\ell_\infty$-距离 $\epsilon$ 以内的潜在表征。
• 构建给定输入 $x$ 的所有相似个体集合的凸松弛，该松弛由数据生产者传递给数据消费者。
• 使数据消费者能够通过证明其分类器 $h_\psi$ 在相似个体的凸松弛内的 $\epsilon$-鲁棒性，来认证个体公平性。
• 利用可微逻辑与认证鲁棒性技术训练编码器，同时确保满足 $\ell_\infty$-距离约束。
• 集成重建损失 $\mathcal{L}_R$ 以支持迁移学习，使潜在表征能够为下游应用保留任务特定信息。

实验结果

研究问题

• RQ1 我们能否通过模块化、可组合的框架，学习一种可证明确保所有相似个体公平性的表征？
• RQ2 我们如何使数据消费者在不访问原始公平性约束或训练数据的情况下，实现个体公平性的认证？
• RQ3 我们的方法在多样化数据集和公平性约束下的可扩展性与实际性能如何？
• RQ4 我们的方法在保持公平性保证的同时，对迁移学习的支持程度如何？
• RQ5 与标准表征学习相比，我们的方法在未见数据点上的认证公平性表现如何？

主要发现

• 在五个真实世界数据集上，该方法对未见数据点的认证公平性率最高比标准表征学习高出 72.6%。
• 每输入的平均认证运行时间在 0.02 秒（Law School）到 1.23 秒（Crime）之间，表明计算高效且可扩展。
• 在 Health 数据集上，该方法在预测 respr4 标签时实现了 98.4% 的认证准确率，显示出在迁移学习场景下的优异性能。
• 该框架有效支持迁移学习：在潜在表征上训练的分类器在多个下游任务中均达到高准确率（72.4–75.4%）和高认证率（86.1–98.4%）。
• 该方法在保持高效用的同时提供可证明的公平性，在 Health 数据集的六个迁移任务中有四个任务的认证准确率超过 90%。
• 该方法兼容多种公平性约束和网络架构，已在 Adult、Compas、Crime、German、Health 和 Law School 等数据集上得到验证。