[论文解读] Hierarchical VampPrior Variational Fair Auto-Encoder
该论文提出了一种分层VampPrior变分公平自编码器（H-VFAE），通过引入VampPrior以稳定潜在空间优化，并使用互信息（MI）作为公平性正则化器，从而提升公平表示学习。在敏感变量完全观测和部分观测的场景下，该模型均优于基线VFAE模型，且当敏感属性部分观测时，MI正则化表现出更强的鲁棒性。
Decision making is a process that is extremely prone to different biases. In this paper we consider learning fair representations that aim at removing nuisance (sensitive) information from the decision process. For this purpose, we propose to use deep generative modeling and adapt a hierarchical Variational Auto-Encoder to learn these fair representations. Moreover, we utilize the mutual information as a useful regularizer for enforcing fairness of a representation. In experiments on two benchmark datasets and two scenarios where the sensitive variables are fully and partially observable, we show that the proposed approach either outperforms or performs on par with the current best model.
研究动机与目标
- 通过学习对敏感属性不变的表示来缓解机器学习中的偏见。
- 在敏感变量部分观测的情况下，改进深度生成建模以实现公平表示学习。
- 通过分层潜在结构克服标准VAE的局限性，如无效单元和后验崩溃问题。
- 在敏感变量部分监督的场景下，引入互信息作为比MMD更有效的公平性正则化器。
- 在基准数据集上，针对完全观测和部分观测的敏感属性条件，实证验证模型性能。
提出的方法
- 模型采用两层分层潜在结构：z1（不变表示）和z2（分层先验），实现敏感因素与预测因素的解耦。
- 为z1的先验采用VampPrior，利用可学习的分量均值以改善后验近似并减少后验崩溃。
- 变分后验被分解为qϕ(z1|x,s)qϕ(y|z1)qϕ(z2|z1,y)，支持通过反向传播进行端到端训练。
- 通过变分下界最小化潜在表示z1与敏感变量s之间的互信息，作为公平性正则化器。
- 通过重构损失、KL散度和公平性正则化器（MMD或MI）的组合进行模型训练，以平衡预测准确率与公平性。
- 在MI估计中，使用单个蒙特卡洛样本近似互信息项，并通过消融研究评估其影响。
实验结果
研究问题
- RQ1与标准VAE相比，采用VampPrior的分层VAE是否能提升公平表示学习？
- RQ2当敏感属性部分观测时，互信息正则化与MMD在强制公平性方面表现如何比较？
- RQ3VampPrior是否能缓解后验崩溃并提升公平自编码器的表示质量？
- RQ4在敏感属性部分监督下，预测准确率与敏感信息保留之间存在何种权衡？
- RQ5在敏感属性数据量少或不确定性高的情况下，互信息是否比MMD更具鲁棒性作为公平性正则化器？
主要发现
- 采用VampPrior的H-VFAE在保持相似敏感信息保留水平的同时，预测准确率优于原始VFAE。
- 在敏感变量完全观测的情况下，MMD正则化器略微优于MI，能更有效地减少敏感信息，但两者均保持了较高的分类准确率。
- 在敏感变量部分观测的场景中，MI正则化器显著优于MMD，实现了更高的分类准确率和更低的敏感信息保留。
- VampPrior使潜在空间更具多模态性且分布更均匀，减轻了后验崩溃，提升了表示质量。
- 该模型实现了对敏感属性的强不变性，可视化显示不同群体的潜在表示几乎无法区分。
- 在部分观测情况下，MI正则化器对估计不确定性更具鲁棒性，可能归因于其对z1与s之间依赖关系的直接建模。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。