[论文解读] Debiasing Methods for Fairer Neural Models in Vision and Language Research: A Survey

Otávio Parraga, Martin D. Móre+7 more|arXiv (Cornell University)|Nov 10, 2022

Ethics and Social Impacts of AI被引用 7

一句话总结

本综述提出了一种关于视觉与语言神经网络中公平性去偏方法的全面分类法，分析了预处理、训练中处理和后处理技术。它识别出在基础模型中减轻偏见的关键挑战，并倡导采用公平意识的微调与提示工程，以在不牺牲任务性能的前提下实现稳健且可泛化的公平性。

ABSTRACT

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

研究动机与目标

• 为解决视觉与语言神经网络中算法偏见这一关键问题，这些模型往往学习到的是虚假相关性而非因果关系。
• 系统性地概述公平意识人工智能中预处理、训练中处理和后处理范式下的去偏技术。
• 提出一种新颖的分类法，以更好地组织和归类视觉与语言研究中的现有去偏方法。
• 突出强调在公平性方面面临的紧迫挑战，尤其是在大规模基础模型中，并识别尚未充分探索的研究方向。
• 通过强调公平性、透明度和伦理化部署，引导研究人员和从业者走向更负责任的AI开发。

提出的方法

• 提出一种新颖的分类法，根据干预点（预处理、训练中处理、后处理）和模态（视觉、语言、多模态）对去偏方法进行分类。
• 回顾公平性度量标准，如人口统计均等、机会均等和奇偶均等，评估其在视觉与自然语言处理任务中的适用性与局限性。
• 分析训练中处理技术，包括对抗训练、解耦表征学习和因果推断，以实现敏感属性与预测结果的解耦。
• 考察后处理方法，如重加权和阈值调整，以在不重新训练的情况下纠正模型输出。
• 探索多任务优化与帕累托前沿生成技术，以平衡公平性与任务性能之间的权衡。
• 聚焦于基础模型，主张采用微调与提示式适配作为在大规模场景下实现去偏的可扩展、有效策略。

实验结果

研究问题

• RQ1 如何系统性地对去偏方法进行分类与组织，以提升公平性研究的清晰度与可及性？
• RQ2 在视觉与语言模型中，哪些是最有效的预处理、训练中处理与后处理技术，可用于减轻偏见？
• RQ3 在不同视觉与自然语言处理任务及数据模态中，人口统计均等与机会均等等公平性度量标准表现如何？
• RQ4 在大规模基础模型中应用去偏技术面临哪些关键挑战，如何应对？
• RQ5 在神经网络中实现公平性的最有前景的未来研究方向是什么，特别是在基础模型的背景下？

主要发现

• 所提出的分类法有助于更清晰地组织日益增长的去偏文献，揭示了特定模态-类型组合下研究方法尚未充分探索的空白。
• 基础模型因其规模和广泛适用性，带来了独特的公平性挑战，使得预处理和单步训练在去偏方面变得不可行。
• 微调与提示式适配被识别为去偏基础模型最可行且可扩展的方法，能够在公平性与性能之间取得良好平衡。
• 多任务优化技术（如帕累托前沿生成）有助于识别公平性与特定任务性能指标之间的高效权衡。
• 解耦与因果推断方法在提升公平性泛化方面展现出潜力，尽管通常以降低任务准确率为代价。
• 开源基础模型对于加速现实部署中公平性问题的发现与缓解至关重要。