[論文レビュー] Understanding Practices, Challenges, and Opportunities for User-Engaged Algorithm Auditing in Industry Practice

Wesley Hanwen Deng, Bill Boyuan Guo+4 more|arXiv (Cornell University)|Oct 7, 2022

Mobile Crowdsensing and Crowdsourcing被引用数 5

ひとこと要約

本研究は、産業界の実務家がユーザー参加型アルゴリズム監査に取り組む経験を調査し、ユーザー監査者を募ることやインcentivizingすること、監査を支援すること、実行可能なインサイトを導き出すことにおける主な課題を明らかにした。研究結果は、組織的な緊張を示しており、HCIに裏付けられたデザインの機会を提起し、ユーザー主導の監査プロセスにおける信頼の強化と害悪の低減を図る。

ABSTRACT

Recent years have seen growing interest among both researchers and practitioners in user-engaged approaches to algorithm auditing, which directly engage users in detecting problematic behaviors in algorithmic systems. However, we know little about industry practitioners' current practices and challenges around user-engaged auditing, nor what opportunities exist for them to better leverage such approaches in practice. To investigate, we conducted a series of interviews and iterative co-design activities with practitioners who employ user-engaged auditing approaches in their work. Our findings reveal several challenges practitioners face in appropriately recruiting and incentivizing user auditors, scaffolding user audits, and deriving actionable insights from user-engaged audit reports. Furthermore, practitioners shared organizational obstacles to user-engaged auditing, surfacing a complex relationship between practitioners and user auditors. Based on these findings, we discuss opportunities for future HCI research to help realize the potential (and the mitigate risks) of user-engaged auditing in industry practice.

研究の動機と目的

• 産業界の実務家がAIシステムの問題的でないアルゴリズム的行動を監査するためにユーザーをどのように関与させているか、その動機と実践を理解すること。
• 実際の現場環境において、実務家がユーザー監査者をどのように募集・インcentivizingし、支援しているかという課題を特定すること。
• 産業界における効果的で持続可能なユーザー参加型監査を阻害する組織的および人的要因を特定すること。
• HCI研究が、ユーザー参加型監査システムの設計と実装を改善するための機会を模索すること。
• 特にマイノリティコミュニティに属する参加者に対して、心理的および倫理的リスクを軽減すること。

提案手法

• 12名の実務家（9つのテクノロジー企業に所属）を対象に、ユーザー参加型監査の経験について半構造化インタビューを実施。
• 実務家と協働して、同定された課題に対する解決策を検討・プロトタイプ化する反復的共同設計活動を実施。
• 実務家の物語と共同設計の成果物を分析し、参加者募集、報酬構造、監査の支援に関する繰り返し現れるテーマを同定。
• 組織的ダイナミクスと信頼に関する懸念を分析することで、実務家とユーザー監査者との間の緊張関係を定性的に探求。
• 実務家からのフィードバックに基づき、ユーザー参加の向上と心理的負担の低減を目的としたデザイン機会を提案。
• 人間とコンピュータのインタラクション、アルゴリズム的公平性、参加型デザインに関する先行研究を活用し、提言を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 AI実務家は、AI製品やサービスの問題的でないアルゴリズム的行動を監査するために、ユーザー参加をどのように動機づけ、実践しているか？
• RQ2 ユーザー参加型アプローチが、実務家のアルゴリズム監査作業をより効果的に支援するという観点で、どのような機会と課題を実務家は予想しているか？
• RQ3 組織的および人的なダイナミクスは、産業界におけるユーザー参加型監査の成功と持続可能性にどのように影響するか？
• RQ4 実務家がユーザー監査者をより効果的に募集・支援し、価値を導き出すために必要なデザイン上の配慮は何か？
• RQ5 ユーザー参加型監査を実施する際、参加者、特にマイノリティコミュニティのメンバーに対して心理的および倫理的害悪を最小限に抑える方法は何か？

主な発見

• 実務家は、専門家が自らの生活経験を持たないために見過ごしてしまうバイアスを発見するため、主にユーザーの主観的経験を捉える目的でユーザーを参加させている。
• 特に関連するアイデンティティや経験的背景を持つユーザーを特定することが難しいことから、ユーザー監査者の募集とインcentivizingは依然として大きな課題である。
• ユーザー監査を効果的に支援する仕組みを構築することが困難で、しばしばユーザーが体系的かつ再現可能にテストを実施できるように導くためのツールやフレームワークが欠如している。
• 専門外の参加者からの非構造的で一貫性のない、あるいは品質が低いフィードバックのため、ユーザー監査報告書から実行可能なインサイトを導くのは困難である。
• 信頼の欠如、役割の不確かさ、権力の不均衡といった組織的障壁が、実務家とユーザー監査者との間に緊張を生じさせている。
• 特にマイノリティコミュニティに属するユーザー監査者には、監査中にアルゴリズム的害悪にさらされることによる心理的害のリスクが顕著に存在する。