[논문 리뷰] Building Socio-culturally Inclusive Stereotype Resources with Community Engagement

Sunipa Dev, Jaya Goyal외 3명|arXiv (Cornell University)|2023. 07. 20.

Hate Speech and Cyberbullying DetectionComputer Science인용 수 3

한 줄 요약

이 논문은 공동체 참여를 통해 구축된 인도의 사회문화적으로 포괄적인 스테레오타입 자료인 SPICE를 제안한다. 개방형 설문 조사 방식을 통해 다양한 참가자로부터 캐스트, 지역, 종교 등의 정체성 축을 중심으로 2,000개 이상의 맥락 기반 스테레오타입을 수집하였다. 이 방법은 기존의 서양 중심의 데이터셋을 크게 초월하여 영어 언어 모델에서의 스테레오타입 편향을 더 정확히 탐지할 수 있도록 한다.

ABSTRACT

With rapid development and deployment of generative language models in global settings, there is an urgent need to also scale our measurements of harm, not just in the number and types of harms covered, but also how well they account for local cultural contexts, including marginalized identities and the social biases experienced by them. Current evaluation paradigms are limited in their abilities to address this, as they are not representative of diverse, locally situated but global, socio-cultural perspectives. It is imperative that our evaluation resources are enhanced and calibrated by including people and experiences from different cultures and societies worldwide, in order to prevent gross underestimations or skews in measurements of harm. In this work, we demonstrate a socio-culturally aware expansion of evaluation resources in the Indian societal context, specifically for the harm of stereotyping. We devise a community engaged effort to build a resource which contains stereotypes for axes of disparity that are uniquely present in India. The resultant resource increases the number of stereotypes known for and in the Indian context by over 1000 stereotypes across many unique identities. We also demonstrate the utility and effectiveness of such expanded resources for evaluations of language models. CONTENT WARNING: This paper contains examples of stereotypes that may be offensive.

연구 동기 및 목표

• 글로벌 인공지능 안전 연구에서 사회문화적으로 대표성이 있는 스테레오타입 평가 자료의 부족을 해결하기 위해.
• 기존의 스테레오타입 데이터셋이 지닌 서양 중심의 편향과 연구자 중심의 세계관을 극복하기 위해.
• 스테레오타입 자료 제작 과정에 소외된 정체성과 인도 사회의 현지화된 시각을 포함시키기 위해.
• 공동체 기반 데이터 수집의 실용성을 입증하여 생성형 언어 모델의 해로움 평가를 향상시키기 위해.
• 인도를 초월한 다른 문화적 맥락에도 적용 가능한 확장 가능하고 포용적인 방법론을 창출하기 위해.

제안 방법

• 다양한 인도 참가자들을 대상으로 개방형, 공동체 중심의 설문 조사를 실시하여 자유형식의 스테레오타입 기술을 수집한다.
• 인도에만 국한된 정체성 축, 즉 캐스트, 지역 기원, 종교, 성별 등을 중심으로 데이터 수집을 집중한다.
• 참가자 응답에서 유래한 2,000개 이상의 스테레오타입을 취합하고 정제하며, 비방적 또는 낙인화적 특성에 주의를 기울인다.
• 수집된 SPICE 데이터셋을 활용해 영어 언어 모델의 스테레오타입 연관성 평가를 수행한다.
• 공동체의 통찰과 모델 평가를 융합한 혼합 방법론을 적용하여 자료의 실용성 검증을 수행한다.
• 언어적 및 물리적 제약으로 인해 데이터 수집을 영어 표현에 국한하며, 향후 多국어 확장을 고려하여 필요성을 인정한다.

실험 결과

연구 질문

• RQ1 글로벌 남부에서의 소외된 사회문화적 시각을 포함하기 위해 스테레오타입 평가 자료는 어떻게 확장될 수 있는가?
• RQ2 기존의 스테레오타입 데이터셋은 인도와 같은 비서양적 맥락에서 현지적으로 중요한 편향을 얼마나 잘못 반영하고 있는가?
• RQ3 공동체 기반의 개방형 데이터 수집 방식은 연구자 중심 또는 LLM 생성 방식보다 더 포괄적이고 대표적인 스테레오타입 자료를 만들어낼 수 있는가?
• RQ4 SPICE 데이터셋은 영어 언어 모델이 생성하는 스테레오타입적 추론을 얼마나 효과적으로 탐지하는가?
• RQ5 스테레오타입의 전체 스펙트럼을 포괄하기 위해 공동체 기반 데이터 수집의 한계는 무엇인가?

주요 결과

• SPICE 데이터셋은 인도의 사회문화적 맥락에 특화된 2,000개 이상의 스테레오타입을 포함하고 있으며, 기존 자료를 크게 확장하고 있다.
• 이 데이터셋은 캐스트(예: 'Bhangi', 'untouchable'), 지역 정체성(예: 'Haryanvi', 'Bihari'), 종교(예: 'Muslim', 'Jat')와 관련된 이전에 대표되지 않았거나 누락된 스테레오타입을 포착하고 있다.
• 많은 비방적 특성들, 예를 들어 'gangster', 'criminal', 'poor' 등은 특정 지역 또는 캐스트 정체성과 연결되어 있으며, 체계적 소외를 반영하고 있다.
• 스테레오타입은 어두운 피부색(예: 'kaalu')과 인종적 비하 표현(예: 'chink')을 포함한 맥락적으로 민감한 표현이 널리 퍼져 있으며, 인도의 대화에서 빈번히 나타난다.
• 언어 모델들은 이와 같은 많은 스테레오타입을 재생산하거나 반영하는 것으로 나타나, 데이터셋이 모델 행동 평가에 실용적임을 확인한다.
• 그럼에도 불구하고 표본 수 제약과 스테레오타입 인식의 주관성으로 인해 데이터셋은 여전히 불완전하다.