[논문 리뷰] Evaluating the Social Impact of Generative AI Systems in Systems and Society

Irene Solaiman, Zeerak Talat외 29명|arXiv (Cornell University)|2023. 06. 09.

Ethics and Social Impacts of AI인용 수 43

한 줄 요약

다양한 모달리티에 걸친 생성형 AI의 사회적 영향을 평가하기 위한 프레임워크를 제안하고, 기본 시스템 평가를 사회에 미치는 영향으로부터 구분하며, 범주와 방법을 제시한다.

ABSTRACT

Generative AI systems across modalities, ranging from text (including code), image, audio, and video, have broad social impacts, but there is no official standard for means of evaluating those impacts or for which impacts should be evaluated. In this paper, we present a guide that moves toward a standard approach in evaluating a base generative AI system for any modality in two overarching categories: what can be evaluated in a base system independent of context and what can be evaluated in a societal context. Importantly, this refers to base systems that have no predetermined application or deployment context, including a model itself, as well as system components, such as training data. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to listed generative modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what can be evaluated in a broader societal context, each with its own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm.

연구 동기 및 목표

• 생성형 AI 맥락에서의 사회적 영향을 정의하고, 모달리티 전반에 걸친 표준 평가의 필요성을 동기부여한다.
• 기본 시스템 평가와 사람·사회 평가를 구분하는 이르게 두 부분으로 구성된 프레임워크를 개발한다.
• 기본 시스템과 사회에 적용할 사회적 영향의 범주를 식별하고 설명한다.
• 이러한 평가를 수행하고 해를 완화하기 위한 방법론 및 고려사항을 제안한다.

제안 방법

• 기본 시스템의 사회적 영향의 일곱 가지 범주를 설정한다(편향/고정관념/표현적 해 harms; 문화적 가치 및 민감한 콘텐츠; 불평등한 성능; 프라이버시 및 데이터 보호; 재정적 비용; 환경 비용; 데이터 및 콘텐츠 조정 노동).
• 다섯 가지 사회 중심의 포괄적 범주를 정의한다(신뢰도/자율성; 불평등/배제/폭력; 권한 집중; 노동/창의성; 생태계/환경)과 하위 범주 및 완화 권고를 제시한다.
• 텍스트, 이미지, 비디오, 오디오 등 모달리티에 따라 적용 가능한 질적·정량적 평가 접근법을 제시하고, 기존 평가의 한계를 강조한다.
• 전문가 입력을 반영한 프레임워크 구축 및 평가 방법 식별을 위한 두 차례의 워크숍 방법론과 업데이트를 위한 지속적인 CRAFT 세션을 제시한다.
• 평가에 영향을 미치는 데이터, 프라이버시, 규제 및 거버넌스 고려사항과 열린 평가 저장소의 필요성을 논의한다.

실험 결과

연구 질문

• RQ1 모든 모달리티에 걸쳐 기본 생성형 AI 시스템에 가장 관련성이 높은 사회적 영향 범주는 무엇인가?
• RQ2 어떤 사회적 차원의 영향(신뢰, 불평등, 노동, 거버넌스)을 평가해야 하며 피해를 어떻게 완화할 수 있는가?
• RQ3 평가 방법을 표준화하고 문서화하며 향후 모달리티와 배치에 확장할 수 있는 방법은 무엇인가?

주요 결과

• 기술적 기본 시스템 평가와 사람/사회 평가의 두 부분으로 이루어진 체계적 평가 프레임워크를 제안한다.
• 일곱 가지 기본 시스템 영향 영역과 다섯 가지 사회 중심 범주를 하위 범주 및 완화 지침과 함께 카탈로그한다.
• 평가가 미묘함과 맥락을 포착하기 위해 정량적이면서도 정성적이어야 한다고 주장한다.
• 사회적 영향에 대한 보편적인 거버닝 바디의 부재와 지속적이고 커뮤니티 기여형 평가 저장소의 필요성을 인식한다.
• ACM FAccT 2023 논의를 바탕으로 한 프레임워크의 업데이트 버전(CRAFT 세션)에 대한 계획을 제시한다.