[论文解读] Fairness and Robustness in Invariant Learning: A Case Study in Toxicity Classification

Robert Adragna, Elliot Creager+2 more|arXiv (Cornell University)|Nov 12, 2020

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文研究了不变风险最小化（IRM）这一领域自适应方法是否能通过学习对敏感属性的虚假相关性具有鲁棒性的预测器，从而提升毒性分类中的公平性。IRM 在分布外准确率和群体公平性方面均优于经验风险最小化（ERM），其通过识别评论长度作为不变预测器实现这一目标，尽管它并未学习到真正因果的特征。

ABSTRACT

Robustness is of central importance in machine learning and has given rise to the fields of domain generalization and invariant learning, which are concerned with improving performance on a test distribution distinct from but related to the training distribution. In light of recent work suggesting an intimate connection between fairness and robustness, we investigate whether algorithms from robust ML can be used to improve the fairness of classifiers that are trained on biased data and tested on unbiased data. We apply Invariant Risk Minimization (IRM), a domain generalization algorithm that employs a causal discovery inspired method to find robust predictors, to the task of fairly predicting the toxicity of internet comments. We show that IRM achieves better out-of-distribution accuracy and fairness than Empirical Risk Minimization (ERM) methods, and analyze both the difficulties that arise when applying IRM in practice and the conditions under which IRM will likely be effective in this scenario. We hope that this work will inspire further studies of how robust machine learning methods relate to algorithmic fairness.

研究动机与目标

• 探讨鲁棒机器学习方法（如 IRM）是否能提升在有偏数据上训练的模型的公平性。
• 评估在敏感属性与毒性存在虚假相关性的情况下，跨环境的不变性是否能提升毒性分类中的公平性。
• 探究 IRM 在学习真正因果预测器方面的实际局限性，以及环境多样性在实现不变特征发现中的作用。
• 评估评论长度是否可作为跨多样化领域进行毒性预测的公平且稳健的代理特征。

提出的方法

• 作者将不变风险最小化（IRM）应用于 Civil Comments 数据集，在多个存在人口统计提及与毒性之间虚假相关性的有偏环境中进行训练。
• IRM 学习到的预测器在不同训练环境中均保持一致的性能表现，旨在实现预测行为的不变性。
• 该方法在不同数据增强和嵌入方案（例如，FastText 词嵌入求和与求平均）下，将 IRM 与标准的经验风险最小化（ERM）进行对比。
• 使用嵌入技术以隔离评论长度的作用：EmbedSum 保留长度信息，而 EmbedMean 丢弃该信息，从而支持对特征不变性的消融研究。
• 在分布内（InD）和分布外（OOD）测试集上评估性能，公平性按不同人口统计身份进行衡量。
• 消融研究比较了在不同嵌入配置下 ERM 与 IRM 的模型准确率和公平性指标，以分离不变特征的贡献。

实验结果

研究问题

• RQ1 IRM 是否能通过在有偏训练环境中学习不变预测器，从而提升毒性分类中的公平性？
• RQ2 评论长度在多样化领域中在多大程度上可作为毒性预测的不变且公平的预测器？
• RQ3 当敏感属性与毒性存在虚假相关性时，为何 IRM 在准确率和公平性方面均优于 ERM？
• RQ4 IRM 在何种条件下无法学习到有意义的不变特征？环境多样性在此过程中起到什么作用？
• RQ5 即使不变特征与结果无因果关系，能否将模型行为的不变性等同于公平性？

主要发现

• 使用 EmbedSum 嵌入时，IRM 在 OOD 测试集上达到 62.3% 的分布外准确率，显著优于 ERM 的 56.5%。
• 当使用 EmbedMean 时，ERM 在 OOD 集上的性能下降至 12.0%，表明其依赖于在新环境中消失的虚假相关性。
• 使用 EmbedMean 时，IRM 在 InD 和 OOD 集上均达到 50.0% 的准确率，证实当长度信息丢失时，IRM 无法学习到不变特征。
• IRM 与 ERM 在 OOD 数据上的性能差距表明，IRM 的不变性是其鲁棒性与公平性提升的原因。
• 通过 EmbedSum 编码的评论长度作为主要不变特征浮现出来，表明其是跨领域毒性预测的稳健代理。
• 尽管 IRM 取得成功，但它并未学习到真正因果的特征——评论长度具有预测能力但并非毒性的原因，凸显了将不变性作为因果代理的关键局限。