[论文解读] Casual Conversations v2: Designing a large consent-driven dataset to measure algorithmic bias and robustness

Caner Hazırbaş, Yejin Bang+10 more|arXiv (Cornell University)|Nov 10, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本论文介绍了 Casual Conversations v2，这是一个大规模、经同意的语料库，旨在衡量人工智能系统在不同人口统计和环境因素下的算法偏见与鲁棒性。该研究提出了10个类别——六个由用户自报（如年龄、性别、语言、残疾状况）和四个经标注（如声音音色、表观肤色、录音设置、活动类型），以实现对视觉、语音和自然语言处理模型的全面、包容性评估，同时由于模糊性和风险，排除了种族和面部表情等伦理敏感类别。

ABSTRACT

Developing robust and fair AI systems require datasets with comprehensive set of labels that can help ensure the validity and legitimacy of relevant measurements. Recent efforts, therefore, focus on collecting person-related datasets that have carefully selected labels, including sensitive characteristics, and consent forms in place to use those attributes for model testing and development. Responsible data collection involves several stages, including but not limited to determining use-case scenarios, selecting categories (annotations) such that the data are fit for the purpose of measuring algorithmic bias for subgroups and most importantly ensure that the selected categories/subcategories are robust to regional diversities and inclusive of as many subgroups as possible. Meta, in a continuation of our efforts to measure AI algorithmic bias and robustness (https://ai.facebook.com/blog/shedding-light-on-fairness-in-ai-with-a-new-data-set), is working on collecting a large consent-driven dataset with a comprehensive list of categories. This paper describes our proposed design of such categories and subcategories for Casual Conversations v2.

研究动机与目标

• 设计一个大规模、经同意的语料库，以实现对人工智能系统中算法偏见与鲁棒性的严格、伦理化评估。
• 由于伦理顾虑和定义模糊，扩展至传统人口统计标签（如种族、面部表情）之外，转而聚焦于更具包容性、定义更清晰的属性。
• 通过包含用户自报和标注类别，支持视觉、语音和自然语言处理任务中人工智能模型的全面评估，以反映现实世界中的多样性与环境变异性。
• 通过细致的自报属性（如身体装饰、身体特征、活动类型）确保代表性不足群体的充分代表。
• 通过排除高风险标签（如种族和面部表情）来促进负责任的人工智能，因为这些标签易导致误分类、文化错配及潜在伤害。

提出的方法

• 提出10个标注类别：六个自报类别（年龄、性别、语言/方言、地理位置、残疾状况、身体装饰/特征）和四个标注类别（声音音色、表观肤色、录音设置、活动类型）。
• 开展全面的文献综述，以识别并细分具有包容性、区域稳健性、适合衡量子群体偏见与模型失效的属性。
• 优先采用自报标签，以确保参与者同意，并降低第三方标注敏感属性带来的误分类风险。
• 由于定义模糊、文化差异及潜在危害，排除种族与民族类别；取而代之，使用地理位置、肤色和语言作为代理指标。
• 由于文化差异、误读风险及潜在的信息泄露或误分类风险，排除面部表情类别。
• 通过包含环境与录音条件元数据，使语料库能够支持多模态（音频、视觉、语言）评估，以评估模型鲁棒性。

实验结果

研究问题

• RQ1 如何设计一个大规模、经同意的语料库，以全面衡量不同人口统计和环境子群体中的算法偏见与鲁棒性？
• RQ2 哪些类别与子类别在衡量视觉、语音和自然语言处理模型偏见方面最为有效，同时确保包容性并最小化伦理风险？
• RQ3 为何传统标签（如种族和面部表情）在负责任的人工智能评估中存在问题？可采用何种替代方案在不损害伦理的前提下维持公平性与鲁棒性？
• RQ4 与第三方标注相比，自报标签如何提升偏见测量的准确性和合法性？
• RQ5 环境与录音条件（如光照、摄像头质量）在模型性能中起什么作用？如何系统性地捕捉这些因素以评估鲁棒性？

主要发现

• Casual Conversations v2 提出了一种新颖且基于伦理的语料库设计，包含10个精心挑选的类别，用于衡量多样子群体中的偏见与鲁棒性。
• 由于定义模糊、文化差异及潜在危害，该语料库排除了种族与面部表情，符合负责任人工智能的原则。
• 与第三方标注相比，用户自报的年龄、性别、语言、残疾状况及身体特征等标签显著提升了数据有效性与同意完整性。
• 标注类别如声音音色、表观肤色、录音设置和活动类型，为模型在现实世界变异性下的表现提供了关键洞察。
• 包含身体装饰（如纹身、身体纹身）和身体特征（如体型）增强了对代表性不足的身体多样性之代表性。
• 该语料库的设计使对视觉、语音和自然语言处理应用中人工智能模型的评估更加准确、包容且合乎伦理，有助于未来开发更公平的系统。