[论文解读] Learning Fair Representations for Kernel Models

Zilong Tan, Samuel Yeom+2 more|arXiv (Cornell University)|Jun 27, 2019

Ethics and Social Impacts of AI参考文献 55被引用 9

一句话总结

该论文提出了一种基于核方法的模型感知公平表示学习方法，通过在再生核希尔伯特空间（RKHS）中利用充分降维（SDR），为统计独立性、机会均等性和均等奇偶性等多种公平性标准提供了可证明的公平性保障。该方法通过子空间之间的主角度参数化公平性-准确性权衡，并通过首个公平高斯过程（FGP）先验实现了最先进性能。

ABSTRACT

Fair representations are a powerful tool for establishing criteria like statistical parity, proxy non-discrimination, and equality of opportunity in learned models. Existing techniques for learning these representations are typically model-agnostic, as they preprocess the original data such that the output satisfies some fairness criterion, and can be used with arbitrary learning methods. In contrast, we demonstrate the promise of learning a model-aware fair representation, focusing on kernel-based models. We leverage the classical Sufficient Dimension Reduction (SDR) framework to construct representations as subspaces of the reproducing kernel Hilbert space (RKHS), whose member functions are guaranteed to satisfy fairness. Our method supports several fairness criteria, continuous and discrete data, and multiple protected attributes. We further show how to calibrate the accuracy tradeoff by characterizing it in terms of the principal angles between subspaces of the RKHS. Finally, we apply our approach to obtain the first Fair Gaussian Process (FGP) prior for fair Bayesian learning, and show that it is competitive with, and in some cases outperforms, state-of-the-art methods on real data.

研究动机与目标

• 为解决模型无关公平表示学习的局限性，通过整合核方法的模型特定归纳偏置，提出模型感知公平表示学习方法。
• 构建一个统一的基于核的公平表示学习框架，确保满足多种公平性标准，包括统计独立性、代理非歧视、机会均等性和均等奇偶性。
• 通过RKHS中子空间之间的主角度，形式化表征公平性-准确性权衡，实现可控的权衡。
• 构建首个通过协方差结构确保公平性的公平高斯过程（FGP）先验，实现贝叶斯公平学习。
• 在真实世界数据集上实证验证该方法，证明其在公平性和准确性方面优于最先进方法。

提出的方法

• 该方法使用充分降维（SDR）将数据投影到RKHS中的子空间，以捕获与保护属性无关的信息，从而在温和条件下确保公平性。
• 通过将SDR投影到保护属性的正交补空间构造公平子空间，当条件均值为线性时，可保证与这些属性的独立性。
• 通过在响应变量上应用SDR计算预测子空间，以保留准确性，并通过主角度参数ε在公平子空间与预测子空间之间定义第三个模型子空间。
• 通过子空间之间的典型角度形式化表征公平性-准确性权衡，投影算子差的算子范数量化该权衡。
• 通过利用GP与其RKHS之间的对偶性，推导出公平高斯过程（FGP）的闭式协方差核，确保所有样本路径均位于模型子空间中。
• 通过QR分解和特征值分解实现算法，以计算公平基，对每个保护属性和响应变量分别应用SDR。

实验结果

研究问题

• RQ1 能否为核模型构建一种模型感知的公平表示，使其可证明地满足多种公平性标准？
• RQ2 如何在基于核的学习中形式化表征并控制公平性-准确性权衡？
• RQ3 所提出的框架能否扩展为构建具有保证公平性质的公平高斯过程先验？
• RQ4 所得到的公平模型在真实世界数据上的公平性和准确性方面，与最先进方法相比表现如何？
• RQ5 主角度参数ε对公平性与预测准确性的平衡有何影响？

主要发现

• 所提出的方法通过确保学习表示在RKHS中与保护属性独立，可证明地满足包括统计独立性、机会均等性和均等奇偶性在内的多种公平性标准。
• 公平性-准确性权衡通过公平子空间与预测子空间之间的主角度精确表征，投影算子差的算子范数量化为√(1−γ²_min)，其中γ_min为最小典型相关系数。
• 在真实世界数据集（包括UCI和COMPAS）上，该方法在准确率方面达到或优于最先进公平学习基线。
• 通过推导确保所有样本路径均位于模型子空间中的协方差核，构建了首个公平高斯过程（FGP）先验，从而满足公平性约束。
• 实证结果表明，FGP在保持或提升预测准确性的前提下，实现了严格的公平性属性，在多个基准测试中优于现有方法。
• 该算法通过分别应用SDR和计算零空间，高效处理多个、连续或离散的保护属性。