[논문 리뷰] Understanding Practices, Challenges, and Opportunities for User-Engaged Algorithm Auditing in Industry Practice

Wesley Hanwen Deng, Bill Boyuan Guo외 4명|arXiv (Cornell University)|2022. 10. 07.

Mobile Crowdsensing and Crowdsourcing인용 수 5

한 줄 요약

이 연구는 산업 현장에서 사용자 참여형 알고리즘 감시에 대한 전문가들의 경험을 조사하여, 사용자 감시자 모집 및 인cent라이징, 감시 프로세스의 구조화, 실질적인 통찰 도출 등 핵심 과제를 밝혀냈다. 연구 결과는 조직 내 갈등을 드러내며, 사용자 주도 감시 과정에서 신뢰를 강화하고 피해를 줄이기 위한 HCI 기반의 설계 기회를 제안한다.

ABSTRACT

Recent years have seen growing interest among both researchers and practitioners in user-engaged approaches to algorithm auditing, which directly engage users in detecting problematic behaviors in algorithmic systems. However, we know little about industry practitioners' current practices and challenges around user-engaged auditing, nor what opportunities exist for them to better leverage such approaches in practice. To investigate, we conducted a series of interviews and iterative co-design activities with practitioners who employ user-engaged auditing approaches in their work. Our findings reveal several challenges practitioners face in appropriately recruiting and incentivizing user auditors, scaffolding user audits, and deriving actionable insights from user-engaged audit reports. Furthermore, practitioners shared organizational obstacles to user-engaged auditing, surfacing a complex relationship between practitioners and user auditors. Based on these findings, we discuss opportunities for future HCI research to help realize the potential (and the mitigate risks) of user-engaged auditing in industry practice.

연구 동기 및 목표

• 산업 전문가들이 AI 시스템의 문제적 알고리즘 행동을 감시하기 위해 사용자 참여를 어떻게 유도하는지 동기와 현재 실무를 이해하기 위해.
• 실제 현장에서 사용자 감시자를 모집하고 인cent라이징하며 지원하는 데 있어 전문가들이 겪는 과제를 특정하기 위해.
• 산업 분야에서 효과적인 사용자 참여형 감시를 방해하는 조직적 및 관계적 장애 요소를 밝혀내기 위해.
• HCI 연구가 사용자 참여형 감시 시스템의 설계 및 구현을 향상시키기 위한 기회를 탐색하기 위해.
• 특히 소외된 공동체에 속한 참가자들에게서 발생할 수 있는 심리적 및 윤리적 위험을 다루기 위해.

제안 방법

• 사용자 참여형 감시를 시도한 9개 기술 기업 소속 12명의 산업 전문가를 대상으로 반구조화된 인터뷰를 실시하였다.
• 식별된 과제 해결을 위한 공통 설계 활동을 반복적으로 수행하여 솔루션을 탐색하고 프로토타yped하였다.
• 전문가들의 서사와 공동 설계 결과물을 분석하여, 모집, 인센티브 구조, 감시 구조화와 관련된 반복되는 주제를 도출하였다.
• 조직 내 역학과 신뢰 우려를 분석하여 전문가와 사용자 감시자 간의 긴장을 탐색하였다.
• 전문가 피드백에 기반한 설계 기회를 제안하였으며, 사용자 참여도 향상과 심리적 부담 감소에 초점을 맞추었다.
• 인간-컴퓨터 상호작용, 알고리즘 공정성, 참가형 설계 분야의 이전 연구를 인용하여 권고안을 뒷받침하였다.

실험 결과

연구 질문

• RQ1 AI 전문가들은 자신의 AI 제품 및 서비스에서 문제적 알고리즘 행동을 감시하기 위해 사용자 참여를 어떻게 유도하고 있는가?
• RQ2 사용자 참여형 접근 방식을 통해 자신의 알고리즘 감시 노력에 더 잘 기여할 수 있는 기회와 과제는 무엇인가?
• RQ3 조직적 및 관계적 역학은 산업 현장에서 사용자 참여형 감시의 성공과 지속 가능성에 어떻게 영향을 미치는가?
• RQ4 사용자 감시자를 보다 효과적으로 모집하고 지원하며 가치를 도출하기 위해 고려해야 할 설계 고려사항은 무엇인가?
• RQ5 사용자 참여형 감시를 어떻게 구현할 수 있을까? 특히 참가자, 특히 소외된 공동체에 속한 자들이 알고리즘 피해에 노출되는 것을 최소화하기 위해.

주요 결과

• 전문가들은 주로 전문가들이 살아보지 않은 경험으로 인해 간과할 수 있는 편향을 발견하기 위해 사용자 경험의 주관적 측면을 확보하기 위해 사용자 참여를 유도한다.
• 특히 관련 신분 및 경험 배경을 가진 사용자를 식별하는 데 어려움이 있어, 사용자 감시자 모집 및 인센티브 제공이 여전히 주요 과제로 남아 있다.
• 사용자 감시를 효과적으로 구조화하는 데 어려움을 겪으며, 일반적으로 사용자를 체계적이고 재현 가능한 테스트를 유도할 수 있는 도구나 프레임워크가 부족하다.
• 비전문가 참가자로부터 온 비구조적, 일관되지 않거나 품질이 낮은 피드백으로 인해 사용자 감시 보고서로부터 실질적인 통찰을 도출하는 것이 어렵다.
• 신뢰 부족, 역할 불명확성, 권력 불균형 등의 조직적 장애 요소가 전문가와 사용자 감시자 간의 긴장을 유발한다.
• 특히 소외된 공동체 소속 사용자 감시자들은 감시 과정에서 알고리즘 피해에 노출됨으로써 심리적 피해를 입을 위험이 크다.