[論文レビュー] On the Legal Compatibility of Fairness Definitions

Alice Xiang, Inioluwa Deborah Raji|arXiv (Cornell University)|Nov 25, 2019

Ethics and Social Impacts of AI参考文献 23被引用数 27

ひとこと要約

この論文は、機械学習（ML）における公平性の定義と米国差別の禁止法の間の不整合性を批判し、一般的なMLの公平性概念——例えば差別、保護対象分類、手続的公平性——がしばしば法的概念を誤解または単純化していることを示している。実社会への影響力と責任の確保のため、公平性研究における法的整合性の重要性を主張し、技術的公平性を法的基準と一致させるためにMLと法的分野の協働を提言する。

ABSTRACT

Past literature has been effective in demonstrating ideological gaps in machine learning (ML) fairness definitions when considering their use in complex socio-technical systems. However, we go further to demonstrate that these definitions often misunderstand the legal concepts from which they purport to be inspired, and consequently inappropriately co-opt legal language. In this paper, we demonstrate examples of this misalignment and discuss the differences in ML terminology and their legal counterparts, as well as what both the legal and ML fairness communities can learn from these tensions. We focus this paper on U.S. anti-discrimination law since the ML fairness research community regularly references terms from this body of law.

研究の動機と目的

• 米国差別の禁止法における実際の法的定義とML公平性用語の間の不整合を特定・分析すること。
• ML公平性研究が、差別、保護対象分類、因果関係といった法的概念をどのように誤解しているかを実証すること。
• ML公平性研究が実社会への影響力と法的拘束力を持つためには、法的整合性が不可欠であることを主張すること。
• MLと法的分野がお互いに学び合い、アルゴリズム的システムにおける公平性枠組みを改善することを提言すること。
• 技術的公平性を法的基準およびガバナンス枠組みと一致させるために、MLと法的研究者間の協働を促進すること。

提案手法

• ML文献における主要な公平性用語（例：差別、保護対象分類、手続的公平性）を分析し、米国差別の禁止法におけるそれらの法的同等物と比較すること。
• 法的先例および法的枠組み（例：民権法、住宅公正法、ADA）を用いて、法的定義における意図、因果関係、分野特異性の重視を示すこと。
• MLの『無知による公平性』（fairness through unawareness）の概念と、歴史的不平等を是正するために差別の扱いを正当化する法的原則（反劣位主義）を対比すること。
• バイアス測定手法の法的含意、特に監査やモデル評価における保護属性の使用に関する考察。
• 法的因果関係（例：『保護対象分類のため』に意思決定がなされたこと）と、MLで使われる統計的代理変数（proxy variables）との間のギャップを強調すること。
• ML研究が、裁判所および規制現場におけるアルゴリズム的因果関係の評価方法を明確化することで、法的政策に貢献すべきであると提言すること。

実験結果

リサーチクエスチョン

• RQ1 ML公平性における『差別』の定義は、米国差別の禁止法における法的定義とどのように異なるか？
• RQ2 ML公平性の概念、たとえば『保護対象分類』は、法的保護の範囲と対称性をどれほど正確に反映しているか？
• RQ3 歴史的不平等を是正するために差別の扱いを正当化する法的原則、反劣位主義（anti-subordination）が、なぜML公平性の文献にほとんど登場しないのか？
• RQ4 差別の禁止法における法的因果関係（例：『保護対象分類のため』に意思決定がなされたこと）は、ML公平性評価で使われる統計的代理変数とどのように衝突するか？
• RQ5 ML公平性コミュニティは、法的制度がアルゴリズム的因果関係を理解し、評価できるように、どのような形で支援できるか？

主な発見

• ML公平性の定義は、しばしば法的差別を結果に基づく相関関係に還元し、法的文脈における意図と因果関係の重視を無視している。
• 保護対象分類に対する法的保護は対称的である——白人および男性の原告も差別の禁止法に基づき訴訟に成功しており、主に弱い立場のグループにのみ保護が及ぶという仮定は誤りである。
• 歴史的階層を是正するために差別の扱いを正当化する法的原則、反劣位主義は、ML公平性研究においてほとんど認識されていないが、バイアス除去技術と整合性を持つ可能性を秘めている。
• 保護属性を公平性測定に使用することは技術的には妥当だが、法的には議論の余地があり、裁判所がこうしたデータ使用を制限する傾向があるため、監査可能性とコンプライアンスの間に葛藤が生じる。
• 法的因果関係（『保護対象分類のため』に意思決定がなされたこと）は、モデル内での保護属性の有無から信頼性を持って推定できないため、現在の安全港（safe harbor）提案の根拠を揺るがす。
• 『無知による公平性』といった現在のML実務は、構造的または因果的バイアスの原因を解決しないまま保護属性を削除するため、法的基準と矛盾する可能性がある。