[論文レビュー] "I'm Not Confident in Debiasing AI Systems Since I Know Too Little": Teaching AI Creators About Gender Bias Through Hands-on Tutorials

Kyrie Zhixuan Zhou, Jiaxun Cao+5 more|arXiv (Cornell University)|Sep 15, 2023

Ethics and Social Impacts of AISocial Sciences被引用数 3

ひとこと要約

本論文は、AI開発者にジェンダー偏見に関する実践的指導を提供するためのハンズオン・チュートリアルを提示している。AI採用やオートコンプリートなどの現実世界のシナリオを用い、18名のAI実務者および学生を対象に評価した結果、参加者の偏見の原因や脱偏見技術に関する意識および技術的知識が著しく向上した。これは、AI倫理教育が不足している現状に対する実践的で有用な補完的アプローチである。

ABSTRACT

Gender bias is rampant in AI systems, causing bad user experience, injustices, and mental harm to women. School curricula fail to educate AI creators on this topic, leaving them unprepared to mitigate gender bias in AI. In this paper, we designed hands-on tutorials to raise AI creators' awareness of gender bias in AI and enhance their knowledge of sources of gender bias and debiasing techniques. The tutorials were evaluated with 18 AI creators, including AI researchers, AI industrial practitioners (i.e., developers and product managers), and students who had learned AI. Their improved awareness and knowledge demonstrated the effectiveness of our tutorials, which have the potential to complement the insufficient AI gender bias education in CS/AI courses. Based on the findings, we synthesize design implications and a rubric to guide future research, education, and design efforts.

研究の動機と目的

• コンピュータサイエンスおよびAIのカリキュラムにおいて、AIジェンダー偏見に関する正式な教育が不足している問題に対処すること。
• AI開発者におけるジェンダー偏見の認識を高め、技術的知識を強化するためのハンズオン・チュートリアルを設計・評価すること。
• AI開発者、研究者、プロダクトマネージャーが、AIシステムにおけるジェンダー偏見を特定・軽減するための実用的ツールを備えること。
• 今後のAI倫理教育およびツール開発のための設計的示唆と評価基準（ルーブリック）を提供すること。

提案手法

• AI駆動の採用やオートコンプリートシステムなど、現実世界のAI応用を活用したインタラクティブでシナリオベースのチュートリアルを開発した。
• コードスニペット、データシート、モデルトレーニングプロセスなどの技術的要素を統合し、実践的知識の向上を図った。
• 技術的熟練度の差を考慮してチュートリアルを設計し、深いコーディングを避けつつも技術的正確性を維持した。
• 研究者、開発者、プロダクトマネージャー、学生を含む18名のAI開発者を対象に、事前・事後のアンケートとインタビューを通じてチュートリアルを評価した。
• 知識に関する質問アンケートと定性的フィードバックを用いて、ジェンダー偏見および脱偏見技術に関する意識・知識の向上を測定した。
• ユーザーのフィードバックを反映させ、使いやすさの改善および今後の強化分野の特定を行った。

実験結果

リサーチクエスチョン

• RQ1 現在のAIジェンダー偏見教育は、AI開発者に対してどのように提供され、どのように受け入れられているか？
• RQ2 私たちのチュートリアルは、AI開発者のジェンダー偏見に関する意識および知識を向上させているか？
• RQ3 AI開発者は、私たちのチュートリアルの使いやすさをどのように評価しているか？

主な発見

• チュートリアルを修了した参加者たちは、AIにおけるジェンダー偏見を特定する能力が著しく向上しており、意識の向上が示された。
• チュートリアル後の知識に関するアンケートでは、偏見の原因や脱偏見技術に関する技術的知識が明確に向上したことが判明した。
• 参加者たちは、特に当初自信のなかった人々を中心に、AIシステムの脱偏見化に向けた自身の能力に自信が持てるようになったと報告した。
• チュートリアルは使いやすさの面で高く評価され、参加者たちは現実世界のシナリオと実践的アプローチの価値を高く評価した。
• 女性参加者たちはジェンダー偏見に対してより強い懸念を示した一方、男性参加者たちはしばしば認識が不足していた。これは、対象別教育の必要性を示唆している。
• フィードバックから、チュートリアルが公式教育のギャップを効果的に埋め、AI開発における実用的かつ即効性のある知識を提供できたことが明らかになった。