[论文解读] Discovering Fair Representations in the Data Domain

Novi Quadrianto, Viktoriia Sharmanska+1 more|arXiv (Cornell University)|Oct 15, 2018

Adversarial Robustness in Machine Learning参考文献 44被引用 7

一句话总结

本文提出了一种数据到数据的翻译框架，通过将输入数据映射到公平的目标域来学习公平表示，同时保留输入语义，并利用希尔伯特-施密特独立性准则（HSIC）实现翻译特征与受保护属性之间的统计独立性。该方法在提升准确率的同时，增强了机会均等性，显著改善了公平性——例如，在CelebA数据集中减少了与性别相关的虚假代理特征（如眼睛/嘴唇），在DiF数据集中减少了与年龄相关的虚假代理特征（如鼻子区域）。

ABSTRACT

Interpretability and fairness are critical in computer vision and machine learning applications, in particular when dealing with human outcomes, e.g. inviting or not inviting for a job interview based on application materials that may include photographs. One promising direction to achieve fairness is by learning data representations that remove the semantics of protected characteristics, and are therefore able to mitigate unfair outcomes. All available models however learn latent embeddings which comes at the cost of being uninterpretable. We propose to cast this problem as data-to-data translation, i.e. learning a mapping from an input domain to a fair target domain, where a fairness definition is being enforced. Here the data domain can be images, or any tabular data representation. This task would be straightforward if we had fair target data available, but this is not the case. To overcome this, we learn a highly unconstrained mapping by exploiting statistics of residuals - the difference between input data and its translated version - and the protected characteristics. When applied to the CelebA dataset of face images with gender attribute as the protected characteristic, our model enforces equality of opportunity by adjusting the eyes and lips regions. Intriguingly, on the same dataset we arrive at similar conclusions when using semantic attribute representations of images for translation. On face images of the recent DiF dataset, with the same gender attribute, our method adjusts nose regions. In the Adult income dataset, also with protected gender attribute, our model achieves equality of opportunity by, among others, obfuscating the wife and husband relationship. Analyzing those systematic changes will allow us to scrutinize the interplay of fairness criterion, chosen protected characteristics, and prediction performance.

研究动机与目标

• 为解决公平表示学习中可解释性不足的问题，现有模型依赖于不可解释的潜在嵌入。
• 开发一个统一框架，将输入数据转换为公平表示，同时保留语义意义，适用于图像和表格数据。
• 通过学习映射到公平目标域来强制执行公平性标准（如机会均等），而无需使用标注的公平数据。
• 通过学习每个样本的公平表示而非系统级转换，实现个体层面的公平性可解释性。
• 分析公平性强制如何系统性地改变特定图像区域或数据特征，基于受保护特征和公平性标准。

提出的方法

• 该方法将公平表示学习建模为数据到数据的翻译任务，将源域数据映射到公平目标域，而无需预先存在的公平数据。
• 采用基于Transformer的生成对抗网络（cGAN）生成器来学习翻译映射。
• 利用希尔伯特-施密特独立性准则（HSIC）强制实现翻译特征与受保护特征之间的统计独立性，以捕捉高阶依赖关系。
• 损失函数结合了对抗训练、循环一致性以及基于HSIC的正则化项，以确保公平性和图像质量。
• 模型在未对齐的源域和目标域数据上端到端训练，目标域由公平性约束隐式定义。
• 该方法应用于图像数据（CelebA、DiF）和表格数据（Adult income），公平性通过机会均等性和模型性能进行评估。

实验结果

研究问题

• RQ1 我们能否学习到可解释且语义上合理的公平表示，避免使用不可解释的潜在嵌入？
• RQ2 当没有标注的公平数据时，如何在数据到数据的翻译中强制实现公平性？
• RQ3 在不同受保护属性下，哪些图像区域或数据特征会被系统性地修改以实现公平性？
• RQ4 通过数据翻译强制实现公平性是否能同时提升公平性指标和下游预测性能？
• RQ5 不同公平性标准（如机会均等）如何与受保护特征的选择及数据模态相互作用？

主要发现

• 在CelebA数据集中，该模型减少了对性别代理特征（如眼睛和嘴唇）的依赖，机会均等性指标提升了9.85%。
• 在DiF数据集中，该方法调整了鼻子区域以缓解基于年龄的偏见，展示了对不同受保护属性的适应能力。
• 在Adult income数据集中，该模型减少了与性别相关的虚假婚姻状态指标（如“wife”或“husband”）的影响，提升了公平性。
• 在使用VGG19特征的七岁组分类任务中，分类准确率从52.85%提升至60.26%，表明模型效用得到改善。
• 该模型一致识别并修改了特定面部区域（如眼睛、嘴唇、鼻子）作为受保护属性的代理，实现了公平性强制的可解释性。
• 该方法在10次重复实验中均表现出一致结果，证明了其在检测和缓解与性别相关的代理特征方面的稳健性。