[论文解读] Excavating "Excavating AI": The Elephant in the Gallery

Michael J. Lyons|arXiv (Cornell University)|Sep 2, 2020

Aesthetic Perception and Analysis参考文献 32被引用 7

一句话总结

本文批判性地审视了凯特·克劳福德与特雷弗·帕格伦的《挖掘人工智能》展览与论文，认为其对机器学习训练集的批判因事实性错误、数据集分类法的缺陷，以及在未获知情同意的情况下展出如JAFFE和CK等人工构建数据集中的面部图像而受到削弱。作者指出，其自身艺术实践中对隐私的侵犯与对监控的谴责之间存在根本性矛盾，构成一种‘画廊中的大象’，从而严重损害了其学术与伦理信誉。

ABSTRACT

Contains critical commentary on the exhibitions "Training Humans" and "Making Faces" by Kate Crawford and Trevor Paglen, and on the accompanying essay "Excavating AI: The politics of images in machine learning training sets."

研究动机与目标

• 揭露并分析克劳福德与帕格伦的《挖掘人工智能》论文及其相关展览中的事实性与伦理缺陷。
• 挑战将多种机器学习训练集笼统归为单一类别的做法，强调人工构建数据集与网络抓取数据集之间存在的关键差异。
• 强调在艺术与公共语境中使用人类面部图像时，知情同意的不可妥协重要性。
• 纠正对情感计算领域关键人物（如保罗·艾克曼）的误述，并澄清面部表情研究的科学与伦理现状。

提出的方法

• 对人工构建数据集（如JAFFE、FERET、CK）与抓取数据集进行对比分析，重点关注其来源、版权与使用条款。
• 评估在非商业艺术语境中未经知情同意展出私人面部图像的伦理影响，尤其是此类展出行为。
• 识别并纠正《挖掘人工智能》论文中关于训练集分类法及情感计算研究描述的事实性错误与误导性陈述。
• 基于作者作为JAFFE数据集共同创建者的亲身经历，提供对数据集在展览与论文中被歪曲呈现的内部批判。
• 运用基于《纽伦堡守则》与人类尊严原则的伦理推理，评估艺术家行为的正当性。
• 对‘挖掘’作为隐喻的更广泛叙事展开学术批判，指出该隐喻掩盖了方法论与伦理上的缺陷。

实验结果

研究问题

• RQ1 在艺术展览中使用面部图像数据集的伦理标准，与在科学研究中使用这些数据集的标准相比如何？
• RQ2 人工构建与网络抓取的机器学习训练集之间存在哪些关键差异？为何这一区分对伦理与技术分析至关重要？
• RQ3 《挖掘人工智能》论文在多大程度上准确呈现了面部表情研究的科学与伦理基础？
• RQ4 为何在艺术或批判性语境中展出人类面部图像时，知情同意是不可妥协的？
• RQ5 《训练人类》与《制造面孔》展览中未能获取同意，如何削弱了其对人工智能系统批判的可信度？

主要发现

• 《挖掘人工智能》论文包含重大事实错误与误导性陈述，尤其在面部表情研究的科学基础及训练集性质方面。
• 克劳福德与帕格伦未就JAFFE与CK等人工构建数据集中的面部图像获取知情同意，违反了其明确的使用条款。
• 展览将两类根本不同的数据集——人工构建（实验室创建）与抓取（网络自动化）——混为一谈，导致分类法 flawed 且具有误导性。
• 声称展览属于‘非商业性科学研究’是一种语义上的拉伸，尤其考虑到《制造面孔》活动在米其林星级场所举办，具有高度奢华语境。
• 将保罗·艾克曼描绘为有缺陷或过时的人物是不准确且带有偏见的，因其忽视了其大量经过同行评审的研究与持续的学术参与。
• 伦理双重标准——批判监控，却在自身作品中违反知情同意——从根本上破坏了《挖掘人工智能》项目整体的道德权威。