[论文解读] Learning Fair and Transferable Representations

Luca Oneto, Michele Donini+2 more|arXiv (Cornell University)|Jun 25, 2019

Ethics and Social Impacts of AI参考文献 35被引用 8

一句话总结

本文提出了一种多任务学习框架，利用低秩矩阵分解学习一种共享的、公平的表示，以在多个任务中强制实现人口统计均等性。通过直接对表示矩阵施加公平性约束，该方法在未见任务上的预测准确率和公平性度量方面均展现出优越的可迁移性，优于三种真实世界数据集上的最先进方法。

ABSTRACT

Developing learning methods which do not discriminate subgroups in the population is a central goal of algorithmic fairness. One way to reach this goal is by modifying the data representation in order to meet certain fairness constraints. In this work we measure fairness according to demographic parity. This requires the probability of the possible model decisions to be independent of the sensitive information. We argue that the goal of imposing demographic parity can be substantially facilitated within a multitask learning setting. We leverage task similarities by encouraging a shared fair representation across the tasks via low rank matrix factorization. We derive learning bounds establishing that the learned representation transfers well to novel tasks both in terms of prediction performance and fairness metrics. We present experiments on three real world datasets, showing that the proposed method outperforms state-of-the-art approaches by a significant margin.

研究动机与目标

• 为解决机器学习中不公平模型行为的挑战，尤其是在微调预训练模型至新任务时。
• 通过确保公平性在新任务中泛化，克服歧视性迁移的风险。
• 开发一种在多个任务间学习共享表示的方法，同时强制实现人口统计均等性。
• 从理论上和实证上证明所学表示在预测性能和公平性方面均具有良好的泛化能力。

提出的方法

• 该方法采用低秩矩阵分解在多个任务间学习共享表示，促进任务相似性与可迁移性。
• 直接在表示因子矩阵上施加公平性约束，以实现人口统计均等性，确保模型决策与敏感属性无关。
• 将公平性整合到多任务学习目标中，避免通过模型输出间接施加公平性。
• 该框架支持敏感属性存在于或不存在于模型函数形式中的两种情形。
• 推导出理论泛化界，以误差和公平性度量两个方面分析泛化性能。
• 在三个真实世界数据集（School、UNIGE 和 Movielens）上评估该方法，涵盖敏感属性是否包含在内的多种设置。

实验结果

研究问题

• RQ1 通过低秩约束的多任务学习所学习的共享表示，能否在新任务中良好泛化于公平性和预测性能？
• RQ2 直接对表示矩阵施加公平性约束，与通过模型输出间接实现公平性相比，有何差异？
• RQ3 所学表示在准确性和公平性方面的理论泛化保证是什么？
• RQ4 所提出方法是否在真实世界数据集上同时优于最先进方法，在公平性和预测性能方面表现更优？
• RQ5 敏感属性是否存在于模型函数形式中，如何影响公平表示的性能？

主要发现

• 当敏感特征不在模型函数形式中时，该方法在 Movielens 数据集上的新任务中实现了最低的公平性风险（0.015 ± 0.003），优于所有基线方法。
• 在 School 数据集上，该方法在新任务中实现了 13.65 ± 0.82 的误差和 0.017 ± 0.001 的公平性风险，展现出强大的可迁移性。
• 该方法在保持高准确率（如 School 数据集上为 15.64 ± 0.79）的同时，显著降低了与无约束或单任务学习（STL）方法相比的公平性风险。
• 在所有设置中，该方法在准确率上与最先进方法相当或更优，同时实现了更低的公平性风险。
• 理论泛化界表明，预测误差和公平性方面均具有改进的泛化保证，且为完全依赖数据的边界，可评估可迁移能力。
• 实证结果证实，共享的公平表示能良好泛化至未见任务，在所有数据集和设置中均一致提升了公平性。