[논문 리뷰] Exploring Stereotypes and Biased Data with the Crowd

Zeyuan Hu, Julia Strout|arXiv (Cornell University)|2018. 01. 10.

Mobile Crowdsensing and Crowdsourcing참고 문헌 18인용 수 3

한 줄 요약

이 논문은 기계 학습 훈련 데이터의 숨겨진 스테레오타입과 편향을 탐지하기 위해 아마존 메카니컬 터크를 통한 커뮤니티 기반 작업을 제안한다. 특히 성별을 넘어서 인종과 계급까지 포함하여 탐지한다. 데이터 품질과 작업자 간의 모호성과 같은 도전 과제가 존재하지만, 커뮤니티가 다양하고 명백하지 않은 스테레오타입을 식별하였다. 비록 많은 응답이 반복적이거나 저품질이었지만, 데이터 수집 워크플로우에서 사전에 편향을 탐지할 수 있는 약간의 잠재력이 있음을 보여주었다.

ABSTRACT

The goal of our research is to contribute information about how useful the crowd is at anticipating stereotypes that may be biasing a data set without a researcher's knowledge. The results of the crowd's prediction can potentially be used during data collection to help prevent the suspected stereotypes from introducing bias to the dataset. We conduct our research by asking the crowd on Amazon's Mechanical Turk (AMT) to complete two similar Human Intelligence Tasks (HITs) by suggesting stereotypes relating to their personal experience. Our analysis of these responses focuses on determining the level of diversity in the workers' suggestions and their demographics. Through this process we begin a discussion on how useful the crowd can be in tackling this difficult problem within machine learning data collection.

연구 동기 및 목표

• 기계 학습 데이터셋에서 문화적 스테레오타입과 편향을 사전에 탐지할 수 있는지 여부를 조사하기 위해.
• 기존의 성별 편향 탐지에서 더 나아가, 데이터 수집 과정에서 인종, 계급 및 상호작용적 스테레오타입을 탐색하기 위해.
• 훈련 데이터에서 미묘하고 명백하지 않은 편향을 탐지하기 위해 커뮤니티에서 생성된 통찰의 타당성과 품질을 평가하기 위해.
• 다양한 시각에서의 커뮤니티 작업자 관점이 데이터 품질 향상에 기여할 수 있도록 데이터 정제 관행을 개선하기 위해.
• 데이터 수집 단계에서의 조기 탐지로 기계 학습 모델의 편향 증폭을 줄이기 위한 광범위한 노력에 기여하기 위해.

제안 방법

• 아마존 메카니컬 터크에서 두 개의 인간 지능 작업(HIT)을 실시하여, 작업자들이 인종, 계급, 성별과 관련된 스테레오타입을 제안하도록 요청하였다.
• 개방형 응답을 수집하였으며, 개인 경험을 바탕으로 직업적, 인종적, 사회경제적 연관성을 중심으로 집중하였다.
• 다양성, 빈도, 의미적 관련성을 분석하여 수동 필터링을 통해 희귀하거나 통찰력 있는 스테레오타입을 식별하였다.
• 작업자 행동을 평가하기 위해 질적 분석을 수행하였으며, 지침 준수 여부와 모호한 작업에 대한 오해 여부를 포함하였다.
• 스테레오타입을 강화하지 않고 뒤집는 이미지 제안의 유용성을 평가하였으며, 향후 연구 방향으로 제안하였다.
• 자동화된 의미 검증이 어려운 점을 감안해, 모든 응답을 수락하고 수동 점검을 통해 기본적인 품질 제어를 실시하였다.

실험 결과

연구 질문

• RQ1 커뮤니티 기반 작업이 연구자가 간과할 수 있는 비명백한 문화적 스테레오타입을 효과적으로 드러낼 수 있는가?
• RQ2 커뮤니티 작업자들이 성별 외에도 인종과 계급과 관련된 편향을 데이터 수집 과정에서 어느 정도 식별할 수 있는가?
• RQ3 커뮤니티 작업자 인구 통계의 다양성이 더 넓은 범위의 스테레오타입 탐지에 기여하는가?
• RQ4 개방형 커뮤니티 응답의 품질과 관련성을 확보하는 데 있어 도전 과제는 무엇인가?
• RQ5 스테레오타입을 뒤집는 이미지 제안은 편향 탐지 작업에서 강화하는 것과 대비되는 타당한 대안이 될 수 있는가?

주요 결과

• 커뮤니티가 성별 외의 스테레오타입, 즉 인종 기반, 계급 기반, 상호작용적 연관성(예: '남성스러운 외모의 토랜스젠더 여성', ' Confederate 기함을 디자인한 백인 농촌 미국인')을 성공적으로 식별하였다.
• 다양한 시각이 존재했음에도 불구하고, imSitu 데이터셋의 46.95%의 동사가 한 성별에 대해 편향되어 있었으며, 모델 훈련 중 평균 편향 증폭률이 0.05%에 달하는 동사 비율이 47.5%에 달하였다.
• MS-COCO 데이터셋은 남성 중심으로 편향된 명사 객체가 1/3에 달했으며, 특히 스포츠 분야에서 두드러졌고, 주방 용품은 강하게 여성 중심으로 편향되어 있었으며, 일부 편향 증폭률은 최대 0.1%에 달하였다.
• 많은 응답이 반복적이거나 저품질이었으며, 작업자들이 자주 일반적이거나 의미적으로 관련 없는 제안(예: '나는 클래스 타입을 원한다')을 제공하여 데이터 품질 문제를 드러냈다.
• 소수의 작업자만 창의적이고 스테레오타입을 뒤집는 이미지 제안을 하였으며, 향후 작업에서 이러한 반스테레오타입 콘텐츠를 명시적으로 요청함으로써 반복을 줄일 수 있음을 시사하였다.
• 악성 또는 명백한 모욕적 댓글은 발견되지 않았지만, 일부 작업자들이 작업을 잘못 이해하거나 무관심한 태도를 보였으며, 이는 더 나은 작업 설계와 품질 제어의 필요성을 시사한다.