[論文レビュー] "Excavating AI" Re-excavated: Debunking a Fallacious Account of the JAFFE Dataset

Michael J. Lyons|arXiv (Cornell University)|Jan 1, 2021

Face Recognition and Perception参考文献 41被引用数 2

ひとこと要約

この論文は、ケイト・クラフォードとトレバー・ペイグルの『AIの考古学的探査』におけるJAFEE顔面表情データセットの誤解を的確に解体し、その真の起源、設計、および倫理的使用法を明確にしている。ライオンズは元の文書を根拠に、彼女らの誤った主張を反証し、スラムドール（スラム・マン）の誤謬法を暴露し、AI研究および芸術における正確なデータ表現と、十分な同意の取得の重要性を強調している。

ABSTRACT

Twenty-five years ago, my colleagues Miyuki Kamachi and Jiro Gyoba and I designed and photographed JAFFE, a set of facial expression images intended for use in a study of face perception. In 2019, without seeking permission or informing us, Kate Crawford and Trevor Paglen exhibited JAFFE in two widely publicized art shows. In addition, they published a nonfactual account of the images in the essay "Excavating AI: The Politics of Images in Machine Learning Training Sets." The present article recounts the creation of the JAFFE dataset and unravels each of Crawford and Paglen's fallacious statements. I also discuss JAFFE more broadly in connection with research on facial expression, affective computing, and human-computer interaction.

研究の動機と目的

• クラフォードとペイグルが『AIの考古学的探査』のエッセイで広く誤解されているJAFEEデータセットの事実を是正すること。
• 元来科学的研究所向けに設計されたJAFEEデータセットの真の目的、作成プロセス、および倫理的枠組みを明確にすること。
• 『AIの考古学的探査』におけるスラムドール（スラム・マン）の誤謬法の使用を暴露し、機械学習の訓練データの性質について読者を誤導する方法を示すこと。
• 人間の画像データを再利用する際、データ利用契約を尊重し、十分な同意を得ることの倫理的義務を強調すること。
• 出典資料の正確な理解に基づいた、感情認識コンピューティングおよびAIシステムに対する根拠に基づいた、責任ある批評を提唱すること。

提案手法

• 1996年の公表文書および個人記録に基づき、元のJAFEEデータセット作成プロセスを再構築すること。
• クラフォードとペイグルの、データセットの設計、選定プロセス、目的に関する誤った主張を体系的に特定し、反証すること。
• エッセイの修辞的戦略を分析し、データセットを歪めることで、AIのバイアスに関する事前に決められた物語を支持するためのスラムドール（スラム・マン）の誤謬法に依存していることを示すこと。
• JAFEEの実際の方法論（非プロトタイプ的で、選ばれていない、意味的評価付きの自らのポーズによる画像）を、『AIの考古学的探査』で提示された誤った物語と比較すること。
• 感情認識コンピューティング、顔面表情研究、および人間-コンピュータインタラクションの広い分野の中でJAFEEを文脈化すること。
• 許可なく画像を展示した行為による倫理的侵害、および非営利利用の条件に違反した点を強調すること。

実験結果

リサーチクエスチョン

• RQ1 クラフォードとペイグルは、『AIの考古学的探査』のエッセイにおいて、JAFEEデータセットの作成と設計をどれほど正確に表現していたか？
• RQ2 JAFEEデータセットを収集・編集するために実際に用いられた手順は何か？ そして、『AIの考古学的探査』で述べられた主張とはどのように異なるか？
• RQ3 『AIの考古学的探査』は、JAFEEデータセットおよびそのAI研究における役割を誤解させるために、スラムドール（スラム・マン）の誤謬法をどのように用いたか？
• RQ4 アートの文脈でJAFEE画像を無許可で展示・再利用した際、どのような倫理的違反が発生したか？
• RQ5 研究者や芸術家は、感情認識コンピューティングの文脈において、人間の画像データを倫理的に再利用するにはどうすればよいか？

主な発見

• クラフォードとペイグルは、JAFEEを選別されたプロトタイプ的データセットであると誤解して記述したが、実際には選別されていないほぼすべてのポーズ画像が含まれており、顔の表情に高い多様性が見られた。
• JAFEEデータセットは、顔面表情の認識および神経モデル化のための科学的研究所向けに作成されたものであり、AIシステムの訓練や監査のためのツールとしての目的ではなかった。
• エッセイは、JAFEEが機械学習の訓練データの『解剖学的モデル』であると誤って主張したが、それはもともとそのような目的で作成されたものではなく、AIの訓練にも使用されていなかった。
• プレダ・ファウンデーションでのJAFEE画像の無許可展示は、データセットの非営利利用ライセンスに違反し、同意の原則にも反した。
• 『AIの考古学的探査』エッセイは、体系的なスラムドール（スラム・マン）の誤謬法を用いており、データセットの目的と方法論を歪め、AIバイアスに関する事前に決められた物語を支持するように仕向けた。
• 以前の是正にもかかわらず、エッセイは査読付きジャーナルおよびアート・バイエンナーレに再掲載され、根本的な修正が加えられず、誤情報が広がり、学術的誠実性を損なった。