[论文解读] Evaluating the Social Impact of Generative AI Systems in Systems and Society

Irene Solaiman, Zeerak Talat+29 more|arXiv (Cornell University)|Jun 9, 2023

Ethics and Social Impacts of AI被引用 43

一句话总结

提出一个框架，在跨模态评估生成式AI的社会影响，将基础技术系统评估与社会影响分离，并勾勒类别与方法。

ABSTRACT

Generative AI systems across modalities, ranging from text (including code), image, audio, and video, have broad social impacts, but there is no official standard for means of evaluating those impacts or for which impacts should be evaluated. In this paper, we present a guide that moves toward a standard approach in evaluating a base generative AI system for any modality in two overarching categories: what can be evaluated in a base system independent of context and what can be evaluated in a societal context. Importantly, this refers to base systems that have no predetermined application or deployment context, including a model itself, as well as system components, such as training data. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to listed generative modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what can be evaluated in a broader societal context, each with its own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm.

研究动机与目标

• 在生成式AI的背景下定义社会影响，并说明跨模态标准化评估的必要性。
• 开发一个两部分框架，将基础系统评估与人员与社会评估分离。
• 确定并描述适用于基础系统和社会的社会影响类别。
• 提出用于开展这些评估及缓解伤害的方法论与注意事项。

提出的方法

• 确立七个基础系统社会影响类别（偏见/刻板印象/表征伤害；文化价值观与敏感内容；差异化表现；隐私与数据保护；财务成本；环境成本；数据与内容审核人力）。
• 定义五个面向社会的总体类别（可信度/自治；不平等/边缘化/暴力；权力集中；劳动/创造力；生态系统/环境）及子类别与缓解建议。
• 提出适用于跨模态（文本、图像、视频、音频）的定性与定量评估方法，并强调现有评估的局限性。
• 描述一个两场工作坊的方法论，结合专家意见来构建框架并识别评估方法，以及持续的CRAFT会议以更新。
• 讨论影响评估的数据、隐私、监管和治理方面的考虑，以及开放评估库的需求。

实验结果

研究问题

• RQ1 对跨模态的基础生成式AI系统，哪些社会影响类别最相关？
• RQ2 应评估哪些社会层面的影响（信任、不平等、劳动、治理），以及如何缓解伤害？
• RQ3 如何使评估方法标准化、文档化，并扩展到未来的模态与部署？

主要发现

• 提出一个结构化的两部分评估框架：技术基础系统评估和人员/社会评估。
• 编制七个基础系统影响领域和五个以社会为中心的类别，并提供子类别与缓解指导。
• 认为评估应同时具备定量与定性，以捕捉细微差异和情境。
• 认识到不存在针对社会影响的普遍治理机构，以及需要一个持续的、社区贡献的评估库。
• 计划在 ACM FAccT 2023 讨论（CRAFT session） 的基础上，对框架进行更新版本。