[논문 리뷰] Auditing Work: Exploring the New York City algorithmic bias audit regime

Lara Groves, Jacob Metcalf외 3명|arXiv (Cornell University)|2024. 02. 12.

Taxation and Compliance Studies인용 수 6

한 줄 요약

이 논문은 NYC Local Law 144를 분석합니다. 채용에서 AEDTs에 대한 독립 편향 감사가 요구되는 최초의 시정 지역 제도이며, 이는 16명의 감사관과의 인터뷰를 통해 실용성, 거버넌스 및 정책 함의를 평가합니다. 정의의 모호성, 산업 로비, 접근 장벽, 감사자 역할의 이견 등으로 제도가 미비하다고 결론지었습니다.

ABSTRACT

In July 2023, New York City (NYC) initiated the first algorithm auditing system for commercial machine-learning systems. Local Law 144 (LL 144) mandates NYC-based employers using automated employment decision-making tools (AEDTs) in hiring to undergo annual bias audits conducted by an independent auditor. This paper examines lessons from LL 144 for other national algorithm auditing attempts. Through qualitative interviews with 16 experts and practitioners within the regime, we find that LL 144 has not effectively established an auditing regime. The law fails to clearly define key aspects, such as AEDTs and independent auditors, leading auditors, AEDT vendors, and companies using AEDTs to define the law's practical implementation in ways that failed to protect job applicants. Contributing factors include the law's flawed transparency-driven theory of change, industry lobbying narrowing the definition of AEDTs, practical and cultural challenges faced by auditors in accessing data, and wide disagreement over what constitutes a legitimate auditor, resulting in four distinct 'auditor roles.' We conclude with four recommendations for policymakers seeking to create similar bias auditing regimes, emphasizing clearer definitions, metrics, and increased accountability. By exploring LL 144 through the lens of auditors, our paper advances the evidence base around audit as an accountability mechanism, providing guidance for policymakers seeking to create similar regimes.

연구 동기 및 목표

• NYC의 LL 144에서 편향 감사의 실질적 요소를 평가한다.
• 감독 당국, 고용주, AEDT 공급업체, 감사자 간의 관계 역학과 인센티브를 검토한다.
• 감사자의 경험을 통해 알고리즘 감사의 정책과 실무를 넓게 inform 한다.
• LL 144가 고부담 채용 의사결정에 대한 책임 메커니즘에 어떤 영향을 미치는지 평가한다.

제안 방법

• LL 144 감사에 관여한 16명의 전문가·실무자를 대상으로 질적 인터뷰를 실시한다.
• 근거이론을 적용하여 인터뷰 기록에서 잠재적 주제를 식별한다.
• Atlas.ti를 사용해 코딩을 수행하되 초기 102-code 코드북에서 16개 코드로 정제한다.
• 인터뷰 결과를 맥락화하기 위해 공개 의견 및 감사 산출물을 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: 이 맥락에서 편향 감사의 실질적 구성 요소는 무엇인가?
• RQ2 RQ2: 효과적인 편향 감사 제도를 만들기 위한 관계 역학과 인센티브는 무엇인가?
• RQ3 RQ3: 감사자의 경험은 무엇이며, 이것이 더 넓은 정책과 실무에 어떤 시사점을 주는가?

주요 결과

• LL 144에 따른 감사는 주로 법의 책임 구조가 만들어낸 이해관계자 간의 관계 역학 관리에 관한 것이다.
• 단일로 합의된 감사자 역할은 없으며, 네 가지 뚜렷한 감사자 ‘행위자’ 카테고리가 나타나 서로 다른 서비스를 제공하고 파편화를 초래한다.
• 합법적 감사자 및 감사 관행의 정의에 대해 강한 이견이 있으며, 독립성과 범위에 대한 논쟁이 있다.
• 감사자들은 고용주와 AEDT 공급업체로부터 데이터 접근에 대한 실질적이고 문화적인 장애에 직면하여 감사 품질과 실행 가능성에 영향을 준다.
• 감사 보고서의 공공 이용 가능성은 초기 몇 달 동안 제한적이며 투명성과 책임성에 제약이 있다.
• 제도의 투명성 중심의 변화 이론은 편향된 AEDT를 멈추기에 충분하지 않다고 보이며, 업계 로비가 법의 범위를 AEDT의 정의를 좁게 형성하도록 영향을 주었다.