[論文レビュー] Excavating "Excavating AI": The Elephant in the Gallery

Michael J. Lyons|arXiv (Cornell University)|Sep 2, 2020

Aesthetic Perception and Analysis参考文献 32被引用数 7

ひとこと要約

本稿は、ケイト・クラフォードとトレバー・ペイグルンの『Excavating AI』展およびエッセイを鋭く検証し、機械学習のトレーニングセットに対する彼らの批判が、事実誤認、誤ったデータセット分類、およびJAFFE や CK のような構築済みデータセットからの顔画像を展示する際の同意の欠如によって損なわれていると主張する。著者は、監視を非難する一方で自らの芸術的活動においても同意を無視しているという倫理的不一致が、根本的な矛盾、すなわち『ギャラリーの中の象』を形成し、彼らの学術的・倫理的信頼性を根底から揺るがしていると指摘する。

ABSTRACT

Contains critical commentary on the exhibitions "Training Humans" and "Making Faces" by Kate Crawford and Trevor Paglen, and on the accompanying essay "Excavating AI: The politics of images in machine learning training sets."

研究の動機と目的

• クラフォードとペイグルンの『Excavating AI』エッセイおよび関連展示における事実的・倫理的欠陥を暴露し、分析すること。
• 多様な機械学習トレーニングデータセットを単一のカテゴリーとして同一視する傾向に反論し、構築済みデータセットとスクレイピングされたデータセットの間の根本的な差異を強調すること。
• 人間の顔画像を芸術的・公共的文脈で使用するにあたり、明示的同意の不可欠な重要性を強調すること。
• 感情認識研究分野の代表的人物、ポール・エクマンに関する誤解を是正し、顔の表情研究の科学的・倫理的立場を明確にすること。

提案手法

• JAFFE や FERET、CK などの構築済みデータセットとスクレイピングされたデータセットを比較分析し、出典、著作権、利用条件に焦点を当てる。
• 非営利的芸術的文脈において、個人の顔画像を明示的同意なしに展示することの倫理的影響を評価する。
• 『Excavating AI』エッセイに含まれる事実誤認や誤解を招く主張、特にトレーニングセットの分類および感情認識研究の描写に関する部分を特定・是正する。
• 著者が JAFFE データセットの共同開発者であるという経験を基に、こうしたデータが展示およびエッセイでいかに歪められているかを内部者視点から批判する。
• ノイーマン・コードおよび人間の尊厳の原則に基づく倫理的推論を用い、アーティストの行動の正当性を検証する。
• 『発掘』という比喩が、研究手法的・倫理的欠陥を隠蔽するものであるとし、その広範な物語的枠組みを学術的に検証する。

実験結果

リサーチクエスチョン

• RQ1 芸術展示における顔画像データセットの使用に適用される倫理基準は、科学的研究所におけるそれらとどのように比較されるか？
• RQ2 構築済みデータセットとスクレイピングされたデータセットの主な違いは何か。この区別が、倫理的および技術的分析においてなぜ重要なのか？
• RQ3 『Excavating AI』エッセイは、顔の表情研究の科学的・倫理的基盤をどの程度正確に描いているか？
• RQ4 なぜ、芸術的または批評的文脈であっても、人間の顔画像を展示する際には明示的同意が不可欠なのであるか？
• RQ5 『Training Humans』および『Making Faces』展で同意を得なかったことによって、AIシステムに対する批判の信頼性はどの程度損なわれたのか？

主な発見

• 『Excavating AI』エッセイには、顔の表情研究の科学的根拠およびトレーニングセットの性質に関する重大な事実誤認と誤解を招く主張が含まれている。
• クラフォードとペイグルンは、JAFFE や CK のような構築済みデータセットからの顔画像を展示するにあたり、明示的同意を取得しておらず、それらの明確な利用条件に違反している。
• 展示は、実験室で作成された（構築済み）データセットと、ウェブを自動的にスクレイピングした（スクレイピング済み）データセットという、根本的に異なる2種類のデータセットを混同しており、誤った分類を生み出している。
• 展示が『非営利の科学的研究所』であると主張することは、ミシュラン星付きの高級レストランで開催された『Making Faces』イベントの文脈を考えれば、明確な語義のねじれである。
• ポール・エクマンを欠陥のあるあるいは時代遅れの人物として描く主張は、彼の多数の査読付き論文および継続的な学術的関与を無視しているため、正確ではなく偏見に満ちている。
• 監視を非難する一方で、自らの作品においても同意を無視するという倫理的二重基準は、『Excavating AI』プロジェクト全体の道徳的権威を根底から揺るがしている。