[논문 리뷰] Excavating "Excavating AI": The Elephant in the Gallery

Michael J. Lyons|arXiv (Cornell University)|2020. 09. 02.

Aesthetic Perception and Analysis참고 문헌 32인용 수 7

한 줄 요약

이 논문은 케이트 크래프트와 트로이어 페글렌의 'Excavating AI' 전시와 에세이를 비판적으로 분석하며, 기계 학습 훈련 세트에 대한 그들의 비판이 사실 오류, 잘못된 데이터셋 분류 체계, 그리고 JAFFE와 CK와 같은 구축된 데이터셋에서 유래한 얼굴 이미지의 전시에 대한 정보 동의를 확보하지 못한 데서 뒷받 Circa 되고 있다고 주장한다. 저자는 그들이 감시를 비판하면서도 자신의 예술 작업에서 동의를 위반하고 있음으로써 기초적인 모순, 즉 '갤러리 안의 코끼리'를 만들어내고 있으며, 이는 그들의 학술적·윤리적 신뢰성을 뿌리에서부터 약화시킨다고 주장한다.

ABSTRACT

Contains critical commentary on the exhibitions "Training Humans" and "Making Faces" by Kate Crawford and Trevor Paglen, and on the accompanying essay "Excavating AI: The politics of images in machine learning training sets."

연구 동기 및 목표

• 크래프트와 페글렌의 'Excavating AI' 에세이와 관련 전시에 대한 사실적·윤리적 결함을 드러내고 분석하는 것.
• 다양한 기계 학습 훈련 세트를 단일한 범주로 혼동하는 것을 도전하며, 구축된 데이터셋과 스크래핑된 데이터셋 간의 핵심적 차이를 부각하는 것.
• 특히 예술적·공적 맥락에서 인간의 얼굴 이미지를 사용할 경우 정보 동의의 비가감성 중요성을 강조하는 것.
• 표정 연구 분야의 주요 인물들, 예를 들어 폴 에크먼에 대한 오해를 바로잡고, 표정 연구의 과학적·윤리적 지위를 명확히 하는 것.

제안 방법

• JAFFE, FERET, CK 등 구축된 데이터셋과 스크래핑된 데이터셋을 비교 분석하여 기원, 저작권, 이용 조건에 중점을 두는 것.
• 비상업적 예술적 맥락에서 개인의 얼굴 이미지를 정보 동의 없이 전시하는 윤리적 영향을 평가하는 것.
• 'Excavating AI' 에세이에서 발견된 사실 오류와 오해의 소지가 있는 진술, 특히 훈련 세트의 분류 체계와 표정 연구에 대한 묘사에 대해 특정적으로 규명하고 수정하는 것.
• 저자가 JAFFE 데이터셋의 공동 제작자로서의 경험을 바탕으로, 이러한 데이터가 전시와 에세이에서 어떻게 잘못 묘사되었는지 내부자 시각의 비판을 제시하는 것.
• 뉘른베르크 원칙과 인간 존엄성 원칙을 바탕으로 한 윤리적 추론을 적용하여 예술가들의 행동의 정당성을 평가하는 것.
• 전체적으로 '발굴'이라는 메타포가 어떻게 방법론적·윤리적 결함를 가리키는 데 사용되는지에 대한 학술적 비판을 전개하는 것.

실험 결과

연구 질문

• RQ1 예술 전시에서 얼굴 이미지 데이터셋을 사용할 때 적용되는 윤리 기준은 과학 연구에서 적용되는 기준과 어떻게 비교되는가?
• RQ2 구축된 데이터셋과 스크래핑된 데이터셋 간의 핵심적 차이는 무엇이며, 왜 이 구분이 윤리적·기술적 분석에 있어 필수적인가?
• RQ3 'Excavating AI' 에세이가 표정 연구의 과학적·윤리적 기반을 얼마나 정확하게 묘사하고 있는가?
• RQ4 왜 예술적 또는 비판적 맥락에서 인간의 얼굴 이미지를 전시할 경우 정보 동의가 절대적으로 불가결한가?
• RQ5 전시인 'Training Humans'와 'Making Faces'에서 동의를 확보하지 못한 것이 AI 시스템에 대한 비판의 신뢰성에 어떻게 영향을 미치는가?

주요 결과

• 'Excavating AI' 에세이에는 표정 연구의 과학적 기반과 훈련 세트의 성격에 관해 심각한 사실 오류와 오해의 소지가 있는 진술이 포함되어 있다.
• 크래프트와 페글렌은 JAFFE와 CK와 같은 구축된 데이터셋에서 유래한 얼굴 이미지의 전시에 대해 정보 동의를 확보하지 못했으며, 이는 명시된 이용 조건을 위반한 것이다.
• 전시는 근본적으로 다른 두 종류의 데이터셋—실험실에서 제작된 구축된 데이터셋과 웹 자동화된 스크래핑된 데이터셋—을 혼동하여, 잘못된 이분법적 분류 체계를 만들어내고 있다.
• 전시가 '비상업적 과학적 연구'로 간주되는 것은 의미론적 과도한 해석이며, 특히 미슐랭 스타를 획득한 장소에서 열린 'Making Faces' 행사의 고급스러운 맥락를 고려하면 더욱 그렇다.
• 폴 에크먼을 결함이 있거나 오래된 인물로 묘사한 것은 사실과 다르며, 이는 그가 축적한 피어리뷰된 연구와 지속적인 학술적 참여를 간과한 편향된 묘사이다.
• 감시를 비판하면서도 자신의 작업에서 동의를 위반하고 있음으로써 발생하는 윤리적 이중 기준은 'Excavating AI' 프로젝트의 전체 도덕적 권위를 약화시킨다.