[论文解读] Flexibly Fair Representation Learning by Disentanglement

Elliot Creager, David Madras+5 more|arXiv (Cornell University)|Jun 6, 2019

Ethics and Social Impacts of AI被引用 134

一句话总结

本文介绍 FFVAE，一种变分自编码器，学习可解释、可预测的潜在因子，用于多种敏感属性及其组合，能够在推理阶段无需敏感属性时实现测试时、与属性无关的公平性自适应。通过灵活移除或加噪声敏感潜在维度，在合成和真实数据集上展示改进的公平分类性能。

ABSTRACT

We consider the problem of learning representations that achieve group and subgroup fairness with respect to multiple sensitive attributes. Taking inspiration from the disentangled representation learning literature, we propose an algorithm for learning compact representations of datasets that are useful for reconstruction and prediction, but are also \emph{flexibly fair}, meaning they can be easily modified at test time to achieve subgroup demographic parity with respect to multiple sensitive attributes and their conjunctions. We show empirically that the resulting encoder---which does not require the sensitive attributes for inference---enables the adaptation of a single representation to a variety of fair classification tasks with new target labels and subgroup definitions.

研究动机与目标

• 推动公平表示学习，使其能够处理多种敏感属性及其交集。
• 学习紧凑的潜在表示，这些表示对敏感属性有预测能力，同时与非敏感因素解耦。
• 实现易于组合的测试时修改，以在不同任务和标签范围内实现子组人口统计学平等。
• 提供一种基于 VAE 的方法，利用敏感属性来构建潜在空间，并允许测试时的公平性调整。

提出的方法

• 将 VAE 扩展为一个解耦的多层潜在空间，将非敏感的 z 与敏感的 b 维分离。
• 使用分解的解码器 p(x|z,b) 和 p(a|b) 来建模非敏感重建和敏感属性预测。
• 通过总相关性惩罚和将 b 与 a 之间联系的预测惩罚来强制实现解耦，且由超参数 alpha 与 gamma 控制。
• 以 q(z|x) 和 q(b|x) 进行训练，其中 b 被视为非随机变量以提升稳定性。
• 在测试时允许移除或对选定的 b 维进行加噪，得到一个与敏感群体无关的公平表示 [z,b′]。
• 公平性目标 L_FFVAE 将重建、预测性、解耦和先验匹配项结合在一起；gamma 加权总相关性对抗项；alpha 加权预测性。

(a) $a$ = Scale

实验结果

研究问题

• RQ1 在测试时，单一学习得到的表示是否可以对多种敏感属性及其交集实现灵活的公平性？
• RQ2 在潜在空间中解耦敏感信息是否能够实现对不同子组定义下的人口统计平等的易于组合的调整？
• RQ3 与现有的解耦基线相比，FFVAE 在合成数据和真实数据集上的准确性和公平性指标表现如何？
• RQ4 在测试时移除敏感信息的同时，模型是否仍保留下游任务的预测能力？

主要发现

• FFVAE 实现测试时的公平适应，无需在推断阶段提供敏感属性。
• 提高预测性权重 alpha 同时提升解耦性以及使潜在因子与相应的敏感属性对齐的能力。
• 在 DSpritesUnfair 合成数据集上，FFVAE 的公平-准确性权衡优于基线，尤其在属性的联合情况下。
• 在 Communities & Crime 与 Celeb-A 上，FFVAE 取得了有竞争力的公平-准确性表现，并在多种子组定义下表现出鲁棒性。
• 即使敏感属性与标签存在相关性时，该方法仍然有效，这是一个具有挑战性的真实数据情景。

(b) $a$ = Shape