[論文レビュー] Group Fairness: Independence Revisited

Tim Räz|arXiv (Cornell University)|Jan 8, 2021

Ethics and Social Impacts of AI参考文献 13被引用数 10

ひとこと要約

この論文は、アルゴリズム意思決定におけるグループ公平性の指標としての独立性（統計的同等性）を再評価し、最近の批判に対し、それらの批判が他の公平性指標（分離性や十分性）に対しても同様に適用可能であるか、あるいは誤った仮定に基づいていることを示している。独立性が他の基準ではカバーしない独自の公平性の側面を捉えていることを示し、他の指標とともに公平性評価に組み込むべきであると提唱している。

ABSTRACT

This paper critically examines arguments against independence, a measure of group fairness also known as statistical parity and as demographic parity. In recent discussions of fairness in computer science, some have maintained that independence is not a suitable measure of group fairness. This position is at least partially based on two influential papers (Dwork et al., 2012, Hardt et al., 2016) that provide arguments against independence. We revisit these arguments, and we find that the case against independence is rather weak. We also give arguments in favor of independence, showing that it plays a distinctive role in considerations of fairness. Finally, we discuss how to balance different fairness considerations.

研究の動機と目的

• 機械学習における公平性指標としての独立性（統計的同等性）に対する批判の妥当性を、批判的に再評価すること。
• 独立性が分離性や十分性よりも本質的に欠陥がある、あるいはそれらより説得力が劣るという主張を疑問視すること。
• 独立性が他の公平性基準では捉えきれない、特異な種類の不平等を特定していることを示すこと。
• 公平性指標の保守性—特に十分性と分離性—が、予測精度の向上によって保持されないという事実を示し、独立性を否定する根拠の一つを揺るがすこと。
• 独立性を他の公平性基準とともに含む、文脈に配慮したバランスの取れた公平性評価のあり方を提唱すること。

提案手法

• Dworkら（2012）およびHardtら（2016）の独立性に対する基礎的批判を再分析し、それらが独立性に特有のものではないことを示す。
• 予測器の精度が向上する際に公平性指標が保持されるかどうかを評価するための「段階的保守性」という概念を導入する。
• 誤分類行列を用いた反例を構築し、精度の向上が分離性や十分性の両方を破壊することを示し、これらが段階的保守性を満たさないことを証明する。
• 条件付き独立性の形式的定式化（例：R ⊥ A、Y ⊥ A|R、R ⊥ A|Y）を用いて、二値分類設定における公平性指標の定義と比較を行う。
• 大学進学選抜や犯罪リスク評価といった実世界の事例を用いて、文脈依存の公平性のトレードオフを説明する。
• 確率的推論と証明技法を用い、グループの母数確率が不均等な場合でも、独立性が高精度と論理的に矛盾しないことを確立する。

実験結果

リサーチクエスチョン

• RQ1 Dworkら（2012）およびHardtら（2016）による独立性に対する批判は、独立性に特有のものであるのか、それとも分離性や十分性に対しても同様に適用可能なのか？
• RQ2 独立性が「保守的」でない（精度上昇によって保持されない）という主張は妥当なのか？ また、十分性や分離性と比べてどう異なるのか？
• RQ3 独立性は分離性や十分性が捉えない、特異な公平性の次元を捉えているのか？
• RQ4 実際の応用において、特に独立性、分離性、十分性といった複数の公平性基準をどのようにバランスさせるべきか？
• RQ5 誤差のコストなどの文脈特有の要因は、公平性指標の選定においてどのような役割を果たすべきか？

主な発見

• Dworkら（2012）およびHardtら（2016）による独立性に対する批判は、独立性に特有のものではなく、分離性や十分性に対しても同様に適用可能である。
• 十分性と分離性は段階的保守性を満たさない：予測精度を向上させることで、元の予測器が満たしていた条件を破ることがある。
• 独立性は、グループベースレートが異なる場合に特に顕著な、グループベースの予測バランスという、分離性や十分性が包含しない独自の公平性次元を捉えている。
• 真のラベルがグループメンバーシップと独立でない場合でも、独立性は高精度と両立可能である。これは、独立性が本質的に精度と矛盾するとされる主張とは対照的である。
• 反例を通じて、誤った否定を真の肯定に非比例的にシフトさせることで精度を向上させても、分離性と十分性の両方が破壊される可能性があることを示した。
• 本研究は、独立性が公平性評価において正当かつ不可欠な要素であるべきであると結論づける。特に、他の基準が矛盾したり、グループレベルの不均衡を捉えきれない場合に有効である。