[논문 리뷰] Casual Conversations v2: Designing a large consent-driven dataset to measure algorithmic bias and robustness

Caner Hazırbaş, Yejin Bang외 10명|arXiv (Cornell University)|2022. 11. 10.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 다양한 인구통계적 및 환경적 요인을 고려한 AI 시스템의 알고리즘 편향과 내성성 평가를 위해 설계된 대규모, 동의 기반 데이터셋인 Casual Conversations v2를 소개한다. 이는 편향과 모델 실패를 측정하기 위해 10개의 범주(자기 제공 6개, 예: 연령, 성별, 언어, 장애, 자가 제공된 속성 등; 주석 기반 4개, 예: 목소리 톤, 눈에 보이는 피부 톤, 녹음 환경, 활동 등)를 제안하며, 모호성과 위험으로 인해 윤리적으로 민감한 범주인 인종과 얼굴 표정은 포함하지 않는다.

ABSTRACT

Developing robust and fair AI systems require datasets with comprehensive set of labels that can help ensure the validity and legitimacy of relevant measurements. Recent efforts, therefore, focus on collecting person-related datasets that have carefully selected labels, including sensitive characteristics, and consent forms in place to use those attributes for model testing and development. Responsible data collection involves several stages, including but not limited to determining use-case scenarios, selecting categories (annotations) such that the data are fit for the purpose of measuring algorithmic bias for subgroups and most importantly ensure that the selected categories/subcategories are robust to regional diversities and inclusive of as many subgroups as possible. Meta, in a continuation of our efforts to measure AI algorithmic bias and robustness (https://ai.facebook.com/blog/shedding-light-on-fairness-in-ai-with-a-new-data-set), is working on collecting a large consent-driven dataset with a comprehensive list of categories. This paper describes our proposed design of such categories and subcategories for Casual Conversations v2.

연구 동기 및 목표

• 대규모, 동의 기반 데이터셋을 설계하여 AI 시스템의 알고리즘 편향과 내성성에 대한 철저하고 윤리적인 평가를 가능하게 하기.
• 기존의 인구통계적 레이블(예: 인종, 얼굴 표정)을 초과하여 윤리적 우려와 모호성으로 인해 제외하고, 더 포괄적이고 명확하게 정의된 특성에 집중하기.
• 실제 세계의 다양성과 환경적 변동성을 반영하는 자기 제공 및 주석 기반 범주를 포함하여 비전, 음성, NLP 작업 전반에 걸친 AI 모델의 종합적 평가를 지원하기.
• 신체 장식, 신체적 특성, 활동 유형과 같은 세분화된 자기 보고 특성을 통해 소외된 하위군의 표현을 보장하기.
• 인종과 얼굴 표정과 같은 고위험 레이블을 배제하여 책임감 있는 AI를 촉진하기. 이는 잘못된 분류, 문화적 불일치, 잠재적 피해의 위험성이 높기 때문이다.

제안 방법

• 레이블링을 위한 10개의 범주 제안: 자기 제공 6개(연령, 성별, 언어/방언, 지리적 위치, 장애, 신체 장식/특성) 및 주석 기반 4개(목소리 톤, 눈에 보이는 피부 톤, 녹음 환경, 활동).
• 포괄성, 지역적 내성성, 하위군 간 편향과 모델 실패 측정에 적합한 특성들을 식별하고 하위범주화하기 위해 종합적인 문헌 고찰 수행.
• 참가자의 동의를 보장하고 제3자 주석 기반 민감한 특성에 따른 오분류 위험을 줄이기 위해 자기 제공 레이블을 우선시.
• 정의의 모호성, 문화적 다양성, 잠재적 피해로 인해 인종 및 민족을 배제. 대신 위치, 피부 톤, 언어를 대체 지표로 사용.
• 문화적 다양성, 오해의 소지, 의도하지 않은 정보 泄露 또는 오분류 위험으로 인해 얼굴 표정을 배제.
• 환경적 조건 및 녹음 조건 메타데이터를 포함하여 다중 모odal(오디오, 비전, 언어) 평가를 지원하도록 데이터셋 설계하여 모델의 내성성 평가 가능.

실험 결과

연구 질문

• RQ1 다양한 인구통계적 및 환경적 하위군에 걸쳐 알고리즘 편향과 내성성을 종합적으로 측정할 수 있는 대규모, 동의 기반 데이터셋을 어떻게 설계할 수 있는가?
• RQ2 비전, 음성, NLP 모델의 편향을 측정하는 데 가장 효과적인 범주와 하위범주는 무엇이며, 포용성과 윤리적 위험을 최소화할 수 있는가?
• RQ3 기존의 레이블(예: 인종, 얼굴 표정)이 책임감 있는 AI 평가에 문제가 되는 이유는 무엇이며, 윤리적 원칙을 훼손하지 않으면서 공정성과 내성성을 유지하기 위한 대체 방법은 무엇인가?
• RQ4 자기 제공 레이블이 제3자 주석보다 편향 측정의 정확성과 합법성에 어떻게 기여하는가?
• RQ5 환경적 조건 및 녹음 조건(예: 조명, 카메라 품질)은 모델 성능에 어떤 역할을 하는가? 이를 체계적으로 캡처하여 내성성 평가에 어떻게 활용할 수 있는가?

주요 결과

• Casual Conversations v2는 다양한 하위군에 걸쳐 편향과 내성성을 측정하기 위해 철저히 선택된 10개의 범주를 포함한 혁신적이고 윤리적으로 기반을 둔 데이터셋 설계를 제안한다.
• 정의의 모호성, 문화적 다양성, 잠재적 피해로 인해 인종과 얼굴 표정을 배제하여 책임감 있는 AI 원칙에 부합한다.
• 연령, 성별, 언어, 장애 및 신체적 특성에 대한 자기 제공 레이블은 제3자 주석보다 데이터의 타당성과 동의의 무결성을 향상시킨다.
• 목소리 톤, 눈에 보이는 피부 톤, 녹음 환경, 활동과 같은 주석 기반 범주는 모델이 실제 세계의 변동성에서 어떻게 작동하는지에 대한 중요한 통찰을 제공한다.
• 타투, 신체 문신과 같은 신체 장식 및 체형과 같은 신체적 특성의 포함은 소외된 신체적 다양성의 표현을 강화한다.
• 이 데이터셋의 설계는 비전, 음성, NLP 응용 분야에서 AI 모델의 더 정확하고 포용적이며 윤리적인 평가를 가능하게 하여 향후 공정한 시스템 개발을 지원한다.