[论文解读] "Excavating AI" Re-excavated: Debunking a Fallacious Account of the JAFFE Dataset

Michael J. Lyons|arXiv (Cornell University)|Jan 1, 2021

Face Recognition and Perception参考文献 41被引用 2

一句话总结

本文嚴厲駁斥凱特·克勞福德與特雷弗·帕格倫在《挖掘人工智慧》一文中的錯誤描述，澄清了JAFFE面部表情數據集的真實來源、設計與倫理使用方式。洛伊絲透過原始文件證據反駁其錯誤論述，揭露其使用稻草人謬誤，並強調在人工智慧研究與藝術創作中，準確呈現數據與取得知情同意的重要性。

ABSTRACT

Twenty-five years ago, my colleagues Miyuki Kamachi and Jiro Gyoba and I designed and photographed JAFFE, a set of facial expression images intended for use in a study of face perception. In 2019, without seeking permission or informing us, Kate Crawford and Trevor Paglen exhibited JAFFE in two widely publicized art shows. In addition, they published a nonfactual account of the images in the essay "Excavating AI: The Politics of Images in Machine Learning Training Sets." The present article recounts the creation of the JAFFE dataset and unravels each of Crawford and Paglen's fallacious statements. I also discuss JAFFE more broadly in connection with research on facial expression, affective computing, and human-computer interaction.

研究动机与目标

• 糾正克勞福德與帕格倫在《挖掘人工智慧》一文中對JAFFE數據集的廣泛誤解。
• 澄清JAFFE數據集原本設計的真正目的、創建過程與倫理架構，其初衷為科學研究。
• 揭露《挖掘人工智慧》一文使用稻草人謬誤，並展示其如何誤導讀者對機器學習訓練數據性質的理解。
• 強調尊重數據使用協議與取得知情同意的倫理責任，特別是在重用人類影像數據時。
• 提倡基於對原始資料準確理解的、具備證據基礎的批判，針對情感計算與人工智慧系統進行審慎反思。

提出的方法

• 根據1996年發表的文件與個人紀錄，重建原始JAFFE數據集的創建過程。
• 系統性地識別並駁斥克勞福德與帕格倫對數據集設計、選取程序與目的的每一項錯誤主張。
• 分析該文章的修辭策略，並展示其如何依賴稻草人謬誤來扭曲數據集的本質。
• 將JAFFE實際採用的方法——非典型、未經篩選、由個人自拍的影像並附帶語義評分——與《挖掘人工智慧》中所呈現的虛假敘事進行對比。
• 將JAFFE置於情感計算、面部表情研究與人機互動等更廣泛的學術脈絡中進行脈絡化分析。
• 強調未經授權展示影像違反非商業使用條款，構成倫理違規。

实验结果

研究问题

• RQ1 克勞福德與帕格倫在《挖掘人工智慧》一文中對JAFFE數據集的創建與設計描述有多準確？
• RQ2 JAFFE數據集實際的收集與編纂程序為何？與《挖掘人工智慧》中的主張有何差異？
• RQ3 《挖掘人工智慧》在何種方式上使用稻草人謬誤來扭曲JAFFE數據集及其在人工智慧研究中角色的敘事？
• RQ4 在藝術脈絡中未經授權展示與重用JAFFE影像，涉及哪些倫理違規？
• RQ5 研究人員與藝術家應如何確保人類影像數據的倫理重用，特別是在人工智慧與情感計算的脈絡下？

主要发现

• 克勞福德與帕格倫將JAFFE誤認為是經篩選、具典型性的數據集，但實際上其包含幾乎全部自拍影像，未經選擇，導致表情高度多樣化。
• JAFFE數據集最初是為面部表情感知與神經建模的科學研究而創建，並非用於訓練或審計人工智慧系統。
• 該文錯誤聲稱JAFFE是機器學習訓練數據的「解剖模型」，但該數據集從未被設計或用於此用途，也未實際用於人工智慧訓練。
• 在普拉達基金會未經授權展示JAFFE影像，違反了其非商業使用許可與知情同意原則。
• 《挖掘人工智慧》一文系統性地使用稻草人謬誤，扭曲數據集的目的與方法，以支持其預先設定的關於人工智慧偏見的敘事。
• 儘管先前已有更正，該文章仍被重新發表於同行評審期刊與藝術雙年展中，且未進行實質性修訂，持續傳播錯誤資訊，損害學術誠信。