[論文レビュー] Does mitigating ML's disparate impact require disparate treatment?

Zachary C. Lipton, Alexandra Chouldechova+1 more|arXiv (Cornell University)|Nov 19, 2017

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

本稿では、保護的特徴量を訓練時に使用するが推論時に隠す「差別の的学習プロセス」（DLP）が、アファーマティブ・アクションなどの明示的差別的取り扱いを機能的に再現できることを主張している。また、感受性のある属性が特徴量に部分的にエンコードされている場合、クラス内差別を引き起こす可能性がある。著者らは、こうした手法が明示的差別的取り扱いと同等の法的・倫理的配慮を受けるべきだと結論づけている。

ABSTRACT

Following related work in law and policy, two notions of prejudice have come to shape the study of fairness in algorithmic decision-making. Algorithms exhibit disparate treatment if they formally treat people differently according to a protected characteristic, like race, or if they intentionally discriminate (even if via proxy variables). Algorithms exhibit disparate impact if they affect subgroups differently. Disparate impact can arise unintentionally and absent disparate treatment. The natural way to reduce disparate impact would be to apply disparate treatment in favor of the disadvantaged group, i.e. to apply affirmative action. However, owing to the practice's contested legal status, several papers have proposed trying to eliminate both forms of unfairness simultaneously, introducing a family of algorithms that we denote disparate learning processes (DLPs). These processes incorporate the protected characteristic as an input to the learning algorithm (e.g.~via a regularizer) but produce a model that cannot directly access the protected characteristic as an input. In this paper, we make the following arguments: (i) DLPs can be functionally equivalent to disparate treatment, and thus should carry the same legal status; (ii) when the protected characteristic is redundantly encoded in the nonsensitive features, DLPs can exactly apply any disparate treatment protocol; (iii) when the characteristic is only partially encoded, DLPs may induce within-class discrimination. Finally, we argue the normative point that rather than masking efforts towards proportional representation, it is preferable to undertake them transparently.

研究の動機と目的

• 保護的特徴量を訓練時に使用するが推論時に隠す差別の的学習プロセス（DLP）が、推論時に保護的特徴量を直接使用しない状況でも、機能的に差別的取り扱いを再現できるかどうかを検討すること。
• 保護的特徴量が推論時に直接アクセス不可能な状況でも、DLPがいかなる形の差別的取り扱いを正確に実装できるかの条件を調査すること。
• 保護的特徴量が非感受性特徴量に部分的にエンコードされている場合のクラス内差別のリスクを分析すること。
• 透明で意図的な割合的代表の実現策が、隠蔽されたアルゴリズム的代理指標よりも好ましいという道徳的主張を展開すること。

提案手法

• 訓練時に正則化やその他の制約を通じて保護的特徴量を組み込む機械学習モデルとしてDLPを形式化すること。
• 非感受性特徴量に保護的特徴量が重複してエンコードされている条件下で、DLPが明示的差別的取り扱いと機能的に同等であることを分析すること。
• 保護的特徴量が入力特徴量に部分的にエンコードされている状況をモデル化し、予期しないクラス内格差を評価すること。
• 理論的分析を用いて、重複が存在する場合、DLPが任意の事前に定義された差別的取り扱いプロトコルを正確に模倣できることを示すこと。
• バイアスと公平性に関する法的・政策的枠組みの概念を応用し、DLPの道徳的含意を評価すること。

実験結果

リサーチクエスチョン

• RQ1 DLPは、保護的特徴量が推論時に直接使用されない状況でも、機能的に差別的取り扱いを再現できるか？
• RQ2 DLPが、保護的特徴量が推論時に直接アクセス不可能な状況でも、いかなる形のアファーマティブ・アクションや差別的取り扱いを正確に実装できるかの条件は何か？
• RQ3 保護的特徴量が非感受性特徴量に部分的にエンコードされている場合、クラス内差別のリスクは何か？
• RQ4 DLPの法的・倫理的立場は、明示的差別的取り扱いと比較してどうなるか？
• RQ5 公平性の介入をアルゴリズム的隠蔽を通じて行うよりも、透明に実施することが好ましいのか？

主な発見

• 保護的特徴量が非感受性特徴量に重複してエンコードされている場合、DLPは差別的取り扱いと機能的に同等である。
• 保護的特徴量が重複してエンコードされている場合、DLPは任意の形の差別的取り扱いプロトコルを正確に再現できる。
• 保護的特徴量が部分的にエンコードされている場合、DLPは直接的な感受性属性へのアクセスがなくても、クラス内差別を引き起こす可能性がある。
• DLPの使用は、法的・倫理的配慮の必要性を排除するものではなく、明示的差別的取り扱いと区別がつかない結果を生み出す可能性がある。
• 道徳的結論として、割合的代表の実現は、アルゴリズム的設計による隠蔽ではなく、透明に実施すべきである。