[论文解读] Discriminatory Transfer
本文提出了'歧视性迁移'（discriminatory transfer）这一现象，即标准迁移学习在提升预测准确率的同时，会降低公平性，即使预训练模型本身是公平的。通过在 Communities and Crime 数据集上应用假设迁移和多任务学习，作者表明，通过正则化增强的信息迁移会系统性地损害公平性，以相等机会（equalized odds）为度量标准，揭示了迁移学习中准确率与公平性之间的一种新权衡。
We observe standard transfer learning can improve prediction accuracies of target tasks at the cost of lowering their prediction fairness -- a phenomenon we named discriminatory transfer. We examine prediction fairness of a standard hypothesis transfer algorithm and a standard multi-task learning algorithm, and show they both suffer discriminatory transfer on the real-world Communities and Crime data set. The presented case study introduces an interaction between fairness and transfer learning, as an extension of existing fairness studies that focus on single task learning.
研究动机与目标
- 探究公平性与迁移学习之间的相互作用，特别是迁移学习是否会无意中降低预测公平性。
- 检验标准迁移学习算法（假设迁移与多任务学习）是否即使在源模型公平的情况下，仍会引发不公平性。
- 量化信息迁移对公平性度量（如相等机会比和差异影响比）的影响。
- 探索是否存在缓解策略，可在保留迁移学习准确率优势的同时，最小化公平性下降。
- 将公平性研究从单任务学习扩展至多任务和迁移学习设置。
提出的方法
- 采用正则化最小二乘法（RLS）进行假设迁移，其中目标模型通过正则化系数 λ 被正则化至预训练的源模型。
- 使用基于向量值表示定理的多任务学习算法，通过核矩阵 A 和正则化项 ||f̲||_H² 强制任务相关性。
- 使用相等机会比（E.O.R）和差异影响比（D.I.R）衡量公平性，公平性定义为预测结果与敏感属性的条件独立性。
- 在 Communities and Crime 数据集上进行实验，通过调节 λ 控制信息迁移强度，并在多种迁移设置下测量准确率与公平性。
- 分析四种不同的迁移学习设置，以评估歧视性迁移在不同数据划分和任务关系下的鲁棒性。
- 使用 α 控制预训练假设的公平性，从而分析源模型公平性如何影响迁移过程中的目标模型公平性。
实验结果
研究问题
- RQ1即使源模型是公平的，标准迁移学习是否仍会降低预测公平性？
- RQ2信息迁移强度（由 λ 控制）如何影响迁移学习中的公平性-准确率权衡？
- RQ3是否可以缓解歧视性迁移，同时保留迁移学习的准确率优势？
- RQ4公平性下降是由于迁移过程本身造成的，还是由于数据中固有的偏见？
- RQ5在不同任务相似度水平下，假设迁移与多任务学习这两种迁移学习范式在公平性方面表现如何？
主要发现
- 在假设迁移和多任务学习中均存在歧视性迁移：随着 λ 增大，准确率提升但公平性下降，即使预训练模型是公平的（α = 1e-4）。
- 当 α = 1e-4（公平预训练模型）时，公平性从 λ = 1e-7 时的 0.9787（E.O.R）下降至 λ = 1e-6 时的 0.9370，而准确率则从 0.6068 提升至 0.6277。
- 在 λ = 1e-5 时，公平性开始恢复（E.O.R = 0.9729），表明存在一个潜在的缓解窗口，可在其中保持或恢复公平性。
- 当 α = 1（非公平预训练模型）时，所有 λ 值下公平性均保持较低水平（E.O.R = 0.2908），表明非公平源模型会传播偏见。
- 在所有四种迁移设置中，假设迁移和多任务学习均表现出歧视性迁移：随着 λ 增大，准确率上升而公平性下降。
- 该现象在不同迁移设置和核模态下均保持一致，在 Frobenius 范数及其它基于核的多任务学习配置中均观察到相似趋势。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。