[论文解读] Learning Controllable Fair Representations
本文介绍一种信息理论目标，旨在学习在受保护属性方面可控公平性且尽可能表达丰富的数据表示，并提出一种对偶优化方法以在表达能力与公平性之间取得平衡。
Learning data representations that are transferable and are fair with respect to certain protected attributes is crucial to reducing unfair decisions while preserving the utility of the data. We propose an information-theoretically motivated objective for learning maximally expressive representations subject to fairness constraints. We demonstrate that a range of existing approaches optimize approximations to the Lagrangian dual of our objective. In contrast to these existing approaches, our objective allows the user to control the fairness of the representations by specifying limits on unfairness. Exploiting duality, we introduce a method that optimizes the model parameters as well as the expressiveness-fairness trade-off. Empirical evidence suggests that our proposed method can balance the trade-off between multiple notions of fairness and achieves higher expressiveness at a lower computational cost.
研究动机与目标
- 旨在学习在不同任务之间可迁移的表示，同时满足对敏感属性的公平约束。
- 使用互信息度量表达能力和公平性，并推导可解的优化界限。
- 提供一个对偶优化框架，以允许用户指定的公平性上限以及公平性与表达能力之间的权衡。
提出的方法
- 将公平性和表达能力表述为互信息项，并对 I(z; u) 设置硬性约束。
- 利用变分分布和 KL 散度推导 I(x; z|u) 和 I(z; u) 的可解下界和上界。
- 引入对抗训练界来通过与模型共同学习的预测器 pψ(u|z) 来收紧 I(z; u) 的界。
- 提出一个实用目标，在约束 I(z; u) 的界限 C1 和 hat{C2} 的同时，最小化 I(x; z|u) 的变分下界。
- 开发一个对偶优化方案，优化模型参数和拉格朗日乘子，以实现对公平约束的严格满足（强对偶性）。
- 证明该方法将先前的公平表示方法统一为同一信息理论框架的特例。
实验结果
研究问题
- RQ1如何通过信息理论目标将公平约束纳入表示学习？
- RQ2在保持下游任务高表达能力的同时，能否控制学习表示中的公平性水平？
- RQ3相比固定乘数方法，双优化和对抗界是否在表达性-公平性权衡上提供更好的结果？
- RQ4不同公平性概念（人口统计学公平、等错配、同等机会）如何与基于互信息的度量对齐？
- RQ5该框架能否处理超越二元情形的多重受保护属性？
主要发现
- 所提出的信息理论对象与现有公平性概念保持一致，在公平约束下产生更具表达力的表示。
- 对偶优化方法通过约束 ε 和自适应乘子，实现对表达性-公平性权衡的直接控制。
- 对抗界提高了 I(z; u) 约束的紧性，同时不牺牲表达性，便于多约束公平控制。
- L-MIFR（对偶优化）在相似计算量下的表达性优于 MIFR（固定乘子），降低了网格搜索的需求。
- 在各数据集上，增加公平预算 ε 通常会增加测量到的不公平性（Delta DP），同时允许更具信息性的表示。
- 该框架支持同时平衡多种公平性概念。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。