[논문 리뷰] "Excavating AI" Re-excavated: Debunking a Fallacious Account of the JAFFE Dataset

Michael J. Lyons|arXiv (Cornell University)|2021. 01. 01.

Face Recognition and Perception참고 문헌 41인용 수 2

한 줄 요약

이 논문은 케이트 크로포드와 토비어 페글렌이 그들의 에세이 'AI를 발굴하다'(Excavating AI)에서 JAFFE 얼굴 표정 데이터셋을 잘못 묘사한 것을 철저히 반박하며, 그 데이터셋의 진정한 기원, 설계, 윤리적 사용 방식을 명확히 한다. 라이언스는 원본 문서를 바탕으로 그들의 잘못된 주장들을 반박하고, 그들이 사용한 허수의 대상 오류(fallacy)를 드러내며, 인공지능 연구와 예술 분야에서 정확한 데이터 표현과 투명한 동의의 중요성을 강조한다.

ABSTRACT

Twenty-five years ago, my colleagues Miyuki Kamachi and Jiro Gyoba and I designed and photographed JAFFE, a set of facial expression images intended for use in a study of face perception. In 2019, without seeking permission or informing us, Kate Crawford and Trevor Paglen exhibited JAFFE in two widely publicized art shows. In addition, they published a nonfactual account of the images in the essay "Excavating AI: The Politics of Images in Machine Learning Training Sets." The present article recounts the creation of the JAFFE dataset and unravels each of Crawford and Paglen's fallacious statements. I also discuss JAFFE more broadly in connection with research on facial expression, affective computing, and human-computer interaction.

연구 동기 및 목표

• 크로포드와 페글렌이 'Excavating AI' 에세이에서 널리 퍼진 JAFFE 데이터셋에 대한 오해를 바로잡기 위해.
• 원래 과학적 연구를 목적으로 설계된 JAFFE 데이터셋의 진정한 목적, 제작 과정, 윤리적 프레임워크를 명확히 하기 위해.
• 'Excavating AI'에서 사용된 허수의 대상 오류(fallacy)를 폭 드러내고, 기계 학습 학습 데이터의 성격에 대해 독자들을 오해하게 만든 방식을 설명하기 위해.
• 인간의 이미지 데이터를 재사용할 경우 데이터 사용 약관을 존중하고, 사전 동의를 확보하는 데 있어 윤리적 의무를 강조하기 위해.
• 원본 자료를 정확히 이해한 바탕 위에 구축된 근거 기반의 비판을 통해 영향력 있는 컴퓨팅 및 인공지능 시스템에 대해 책임감 있는 비판을 펼치기 위해.

제안 방법

• 1996년도에 발행된 문서와 개인 기록을 바탕으로 원래 JAFFE 데이터셋 제작 과정을 재구성하기 위해.
• 크로포드와 페글렌의 주장 중 데이터셋 설계, 선정 과정, 목적에 관해 잘못된 점을 체계적으로 파악하고 반박하기 위해.
• 에세이의 논리적 전략을 분석하고, 데이터셋을 왜곡하여 서사에 맞추기 위해 허수의 대상 오류에 의존하고 있음을 입증하기 위해.
• 실제 JAFFE의 방법론—비표준적이고 선택되지 않은, 의미 평가가 내재된 자가 포즈 이미지—를 'Excavating AI'에서 제시된 거짓 서사와 대조하기 위해.
• 영향력 있는 컴퓨팅, 얼굴 표정 연구, 인간-컴퓨터 상호작용 분야의 맥락 속에서 JAFFE를 정의하기 위해.
• 허가 없이 이미지를 전시하여 데이터셋의 비상업적 사용 조건을 위반하고, 사전 동의 원칙을 침해한 윤리적 위반 사항을 드러내기 위해.

실험 결과

연구 질문

• RQ1 크로포드와 페글렌은 'Excavating AI' 에세이에서 JAFFE 데이터셋의 제작 및 설계를 얼마나 정확하게 묘사했는가?
• RQ2 JAFFE 데이터셋을 수집하고 편집하는 데 실제로 사용된 절차는 무엇이며, 'Excavating AI'에서 제기된 주장과 어떻게 다를까?
• RQ3 'Excavating AI'는 JAFFE 데이터셋과 그가 인공지능 연구에서 차지하는 역할을 오해하게 만들기 위해 어떤 방식으로 허수의 대상 오류를 사용했는가?
• RQ4 예술적 맥락에서 JAFFE 이미지를 무단으로 전시하고 재사용하면서 발생한 윤리적 위반 사항은 무엇인가?
• RQ5 연구자와 예술가들은 특히 인공지능과 영향력 있는 컴퓨팅의 맥락에서 인간의 이미지 데이터를 윤리적으로 재사용하기 위해 어떻게 해야 하는가?

주요 결과

• 크로포드와 페글렌은 JAFFE를 선별된, 표준적인 이미지로 묘사했지만, 실제로는 거의 모든 포즈 이미지가 선택 없이 포함되어 있어 표정의 다양성이 매우 높았다.
• JAFFE 데이터셋은 얼굴 표정 인지 및 신경 모델링에 대한 과학적 연구를 목적으로 제작되었으며, 인공지능 시스템의 학습 또는 감시를 위한 도구로는 사용되지 않았다.
• 에세이에서는 JAFFE를 기계 학습 학습 데이터의 '해부학적 모델'로 묘사했지만, 실제로는 그러한 목적을 위해 설계된 바 없으며, 인공지능 학습에 사용된 바도 없다.
• 프라다 재단에서의 JAFFE 이미지 무단 전시는 데이터셋의 비상업적 사용 라이선스를 위반했고, 사전 동의 원칙을 침해한 것이다.
• 'Excavating AI' 에세이는 체계적인 허수의 대상 오류를 사용하여 데이터셋의 목적과 방법론을 왜곡함으로써, 인공지능 편향에 대한 사전에 정해진 서사를 뒷받침했다.
• 이전에 수정된 바에도 불구하고, 에세이는 심층 검토된 학술지와 예술 비엔날레에 그대로 재게재되어 오랫동안 오해를 퍼뜨리며 학문적 정당성에 해를 끼쳤다.