[論文レビュー] Auditing Work: Exploring the New York City algorithmic bias audit regime

Lara Groves, Jacob Metcalf+3 more|arXiv (Cornell University)|Feb 12, 2024

Taxation and Compliance Studies被引用数 6

ひとこと要約

本論文は NYC Local Law 144 を分析し、雇用における AEDTs の独立した偏見監査を義務付ける最初の自治体制度を、16名の監査人へのインタビューを通じて実用性・ガバナンス・政策影響を評価している。定義の曖昧さ、業界ロビー活動、アクセス障壁、監査人の役割の分岐により制度が欠陥していると結論付けている。

ABSTRACT

In July 2023, New York City (NYC) initiated the first algorithm auditing system for commercial machine-learning systems. Local Law 144 (LL 144) mandates NYC-based employers using automated employment decision-making tools (AEDTs) in hiring to undergo annual bias audits conducted by an independent auditor. This paper examines lessons from LL 144 for other national algorithm auditing attempts. Through qualitative interviews with 16 experts and practitioners within the regime, we find that LL 144 has not effectively established an auditing regime. The law fails to clearly define key aspects, such as AEDTs and independent auditors, leading auditors, AEDT vendors, and companies using AEDTs to define the law's practical implementation in ways that failed to protect job applicants. Contributing factors include the law's flawed transparency-driven theory of change, industry lobbying narrowing the definition of AEDTs, practical and cultural challenges faced by auditors in accessing data, and wide disagreement over what constitutes a legitimate auditor, resulting in four distinct 'auditor roles.' We conclude with four recommendations for policymakers seeking to create similar bias auditing regimes, emphasizing clearer definitions, metrics, and increased accountability. By exploring LL 144 through the lens of auditors, our paper advances the evidence base around audit as an accountability mechanism, providing guidance for policymakers seeking to create similar regimes.

研究の動機と目的

• NYC における LL 144 の偏見監査の実務的要素を評価する。
• 監査人、雇用主、AEDT ベンダー、規制当局の間の関係動態とインセンティブを検討する。
• 監査人の経験を特徴づけ、アルゴリズム監査のより広い政策と実務に情報を提供する。
• LL 144 が高リスクな雇用決定の説明責任メカニズムにどのような影響を与えるかを評価する。

提案手法

• LL 144 の監査に関与する16名の専門家や実務家への質的インタビューを実施する。
• 質的理論(グラウンデッドセオリー)を適用し、インタビュー記録から潜在テーマとコード化を特定する。
• Atlas.ti を用いてコード化を行い、初期の102コードのコードブックから16コードへ精錬する。
• 公的コメントや監査アーティファクトを分析して、インタビュー所見に文脈を与える。

実験結果

リサーチクエスチョン

• RQ1 RQ1: この文脈における偏見監査の実務的要素は何か？
• RQ2 RQ2: 効果的な偏見監査制度を生み出す関係ダイナミクスとインセンティブは何か？
• RQ3 RQ3: 監査人の経験は何か、そしてそれはより広い政策と実践にどのように情報を提供できるか？

主な発見

• LL 144の下での監査は、主に法の説明責任構造が生み出す利害関係者間の関係ダイナミクスを管理することに関する。
• 単一で合意された監査人の役割は存在せず、4つの異なる監査人『アクター』カテゴリーが出現し、異なるサービスを提供して分断を生み出している。
• 正当な監査人および監査実務が何を構成するかについて強い意見の相違があり、独立性と範囲を巡る議論がある。
• 監査人は雇用主およびAEDTベンダーからのデータアクセスに対して、実務的・文化的な大きな障壁に直面しており、監査の質と実現可能性に影響を与えている。
• 監査報告の公開性は初期数か月で限定的で、透明性と説明責任を妨げている。
• 法の透明性駆動型の変化論は、偏ったAEDTsを止めるには不十分と見なされており、業界のロビー活動が法の範囲を左右し、AEDTsの定義を狭くしているとされる。