[论文解读] Fairness Testing: A Comprehensive Survey and Analysis of Trends

Zhenpeng Chen, Jie M. Zhang+3 more|arXiv (Cornell University)|Jul 20, 2022

Ethics and Social Impacts of AI被引用 29

一句话总结

本论文调查了 ML 软件中的 100 个公平性测试研究，按测试工作流与组件组织，分析趋势、数据集和工具，并强调研究机会。

ABSTRACT

Unfair behaviors of Machine Learning (ML) software have garnered increasing attention and concern among software engineers. To tackle this issue, extensive research has been dedicated to conducting fairness testing of ML software, and this paper offers a comprehensive survey of existing studies in this field. We collect 100 papers and organize them based on the testing workflow (i.e., how to test) and testing components (i.e., what to test). Furthermore, we analyze the research focus, trends, and promising directions in the realm of fairness testing. We also identify widely-adopted datasets and open-source tools for fairness testing.

研究动机与目标

• 从软件工程的角度在 ML 软件中定义公平性测试和公平性缺陷。
• 按测试工作流（如何测试）和测试组件（测试什么）对公平性测试研究进行分类。
• 总结用于公平性测试的公开数据集和开源工具。
• 分析趋势并识别在公平性测试方面有前景的方向和开放的研究机会。

提出的方法

• 通过迭代关键词搜索和向前/向后溯源，使用 DBLP 收集了 100 篇公平性测试论文。
• 在作者反馈的基础上扩充收集，达到 100 篇论文。
• 应用主题综合法提取并围绕工作流与组件组织发现。
• 用软件工程术语定义 ML 软件中的公平性缺陷和公平性测试。
• 提供关于用于公平性测试的数据集和开源工具的概述。

实验结果

研究问题

• RQ1 在 ML 软件的公平性测试中，主流的公平性定义有哪些？
• RQ2 在实践中如何进行公平性测试（测试工作流），以及测试哪些组件？
• RQ3 常用的公平性测试数据集和工具有哪些？
• RQ4 在公平性测试研究中出现了哪些趋势，以及已识别的机会与挑战？

主要发现

• 本调研覆盖 100 篇论文，并将其综合为对 ML 软件中公平性测试的连贯视角。
• 公平性测试文献围绕测试工作流（如何测试）和测试组件（测试的地点/内容）进行组织。
• 研究活动日益活跃，自 2019 年以来有 89% 的公平性测试出版物出现。
• 本文提供了关于公开可获得的数据集和用于公平性测试的开源工具的概述。
• 系统分析确定了公平性测试的研究趋势与未来工作的有前景方向。