[논문 리뷰] "I'm Not Confident in Debiasing AI Systems Since I Know Too Little": Teaching AI Creators About Gender Bias Through Hands-on Tutorials

Kyrie Zhixuan Zhou, Jiaxun Cao외 5명|arXiv (Cornell University)|2023. 09. 15.

Ethics and Social Impacts of AISocial Sciences인용 수 3

한 줄 요약

이 논문은 AI 개발자들이 실제 사례인 AI 채용 및 자동완성과 같은 실생활 시나리오를 통해 AI의 성별 편향에 대해 실습 중심으로 교육하는 튜토리얼을 제시한다. 18명의 AI 전문가 및 학생을 대상으로 평가한 결과, 참가자들의 편향 원인과 완화 기법에 대한 인식과 기술적 지식이 크게 향상되었으며, AI 윤리 교육이 부족한 현행 교육 체계에 실질적인 보완이 될 수 있다.

ABSTRACT

Gender bias is rampant in AI systems, causing bad user experience, injustices, and mental harm to women. School curricula fail to educate AI creators on this topic, leaving them unprepared to mitigate gender bias in AI. In this paper, we designed hands-on tutorials to raise AI creators' awareness of gender bias in AI and enhance their knowledge of sources of gender bias and debiasing techniques. The tutorials were evaluated with 18 AI creators, including AI researchers, AI industrial practitioners (i.e., developers and product managers), and students who had learned AI. Their improved awareness and knowledge demonstrated the effectiveness of our tutorials, which have the potential to complement the insufficient AI gender bias education in CS/AI courses. Based on the findings, we synthesize design implications and a rubric to guide future research, education, and design efforts.

연구 동기 및 목표

• 컴퓨터 과학 및 AI 커리큘럼에서 AI 성별 편향에 대한 공식 교육의 부족을 해결하기 위해.
• AI 개발자들 사이에서 성별 편향에 대한 인식을 제고하고 기술적 지식을 향상시키기 위해 실습 기반 튜토리얼을 설계하고 평가하기 위해.
• AI 개발자, 연구자, 제품 관리자들이 AI 시스템 내 성별 편향을 식별하고 완화할 수 있도록 실질적인 도구를 제공하기 위해.
• 향후 AI 윤리 교육 및 도구 개발을 위한 설계 시사점과 평가 척도를 제공하기 위해.

제안 방법

• AI 기반 채용 및 자동완성 시스템과 같은 실제 AI 응용 사례를 활용한 상호작용적이고 시나리오 기반 튜토리얼을 개발하였다.
• 코드 스니펫, 데이터 시트, 모델 훈련 과정 등의 기술적 요소를 통합하여 실질적인 이해를 향상시켰다.
• 기술적 숙련도 수준에 따라 조정 가능한 튜토리얼을 설계하여 깊이 있는 프로그래밍을 피하면서도 기술적 정확성을 유지하였다.
• 연구원, 개발자, 제품 관리자, 학생 등 18명의 AI 창작자를 대상으로 사전·사후 설문조사 및 인터뷰를 통해 튜토리얼을 평가하였다.
• 지식 질문 설문조사와 정성적 피드백을 활용하여 성별 편향 및 완화 기법에 대한 인식과 지식 향상을 측정하였다.
• 사용자 피드백을 반영하여 사용성 개선 및 향후 개선 가능 영역을 규명하였다.

실험 결과

연구 질문

• RQ1 현재 AI 성별 편향 교육은 AI 창작자들에게 어떻게 제공되고 있으며, 어떻게 수용되고 있는가?
• RQ2 우리가 제작한 튜토리얼은 AI 창작자들의 AI 성별 편향에 대한 인식과 지식을 향상시키는데 효과적인가?
• RQ3 AI 창작자들은 우리 튜토리얼의 사용성에 대해 어떻게 평가하는가?

주요 결과

• 튜토리얼 수강 후 참가자들은 AI 내 성별 편향을 식별하는 데 있어 뚜렷한 향상을 보였으며, 이는 인식 향상의 증거로 볼 수 있다.
• 튜토리얼 수강 후 지식 질문 설문조사 결과, 편향 원인과 완화 기법에 대한 기술적 이해도가 명확히 향상된 것으로 나타났다.
• 참가자들은 특히 초기에 자신감이 없었던 이들이 AI 시스템의 편향을 완화할 수 있는 능력에 대해 자신감을 갖게 되었다고 보고하였다.
• 튜토리얼은 사용성 측면에서 높은 평가를 받았으며, 참가자들은 실제 사례와 실습 중심의 접근 방식을 높이 평가했다.
• 여성 참가자들은 성별 편향에 대해 더 강한 우려를 표시한 반면, 남성 참가자들은 종종 인식이 부족한 편이었으며, 이는 대상별 맞춤 교육의 필요성을 시사한다.
• 피드백을 통해 튜토리얼이 공식 교육의 격차를 효과적으로 메워주고, AI 개발에 실질적이고 실행 가능한 지식을 제공했다는 점이 확인되었다.