[論文レビュー] The Impossibility Theorem of Machine Fairness -- A Causal Perspective

Kailash Karthik Saravanakumar|arXiv (Cornell University)|Jul 12, 2020

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

この論文は、予測と感受性属性の間の分離を図る補正変数を導入することで、機械学習の公平性に関する不可能定理を解消する因果フレームワークを提示する。このメカニズムにより、デモグラフィックパリティと等しいオッズが共存可能であることが示され、公平性と精度のトレードオフという考え方に挑戦する。

ABSTRACT

With the increasing pervasive use of machine learning in social and economic settings, there has been an interest in the notion of machine bias in the AI community. Models trained on historic data reflect biases that exist in society and propagated them to the future through their decisions. There are three prominent metrics of machine fairness used in the community, and it has been shown statistically that it is impossible to satisfy them all at the same time. This has led to an ambiguity with regards to the definition of fairness. In this report, a causal perspective to the impossibility theorem of fairness is presented along with a causal goal for machine fairness.

研究の動機と目的

• デモグラフィックパリティ、等しいオッズ、予測パリティの3つの主要な公平性指標の間の長年の曖昧性を解消し、それらの不整合性を解消すること。
• 公平性がモデルの精度と必ずトレードオフになるとされる一般的な見解に反し、公平性を統計的制約ではなく因果的干渉として再定義すること。
• 真のラベルが予測に与える影響を意図的に修正するための補正変数 C を介した因果的メカニズムを提案すること。
• 公平性指標を因果的視点から再解釈することで、統一されたフレームワーク下でデモグラフィックパリティと等しいオッズが共存可能であることを示すこと。
• データ駆動のキャリブレーションを超えて、意図的かつ公平性指向の補正を組み込むことを可能にする、機械学習モデルのデバイアス化の理論的基盤を提供すること。

提案手法

• 予測が真のラベル Y に依存するか、それとも保護属性 A のみに依存するかを制御する補正変数 C を導入。構造方程式は $\hat{Y} = g_{\text{classifier}}(Y)$ if $C=1$, else $g_{\text{fairness}}(A)$ if $C=0$ である。
• C が Y から $\hat{Y}$ への直接の因果的経路を遮断するが、A が C に影響を与えるようにすることで、歴史的バイアスの制御された補正を可能にする因果図を用いてデータ生成プロセスをモデル化する。
• 公平性指標を条件付き独立制約として再解釈する：$\hat{Y} \perp\!\!\!\perp A \mid C=0$ はデモグラフィックパリティを、$\hat{Y} \perp\!\!\!\perp A \mid Y, C$ は等しいオッズを表す。
• C が 0 または 1 をとる確率を調整可能なハイパーパrameterとみなし、ε-greedy戦略に類似した方法で、公平性とデータ忠実度のバランスを取る。
• モデルキャリブレーションの制約としてではなく、データ生成プロセスへの構造的干渉として公平性を扱い、完全なキャリブレーションを必要とせずに公平性を達成可能にする。
• 予測パリティを強制すべきではないと主張する。これは、特に弱い立場のグループに対して、歴史的バイアスの是正という目的と矛盾するからである。

実験結果

リサーチクエスチョン

• RQ1 デモグラフィックパリティ、等しいオッズ、予測パリティという3つの支配的公平性指標が、1つのデータ生成プロセスで共存可能か？
• RQ2 因果的視点から見た場合、公平性が精度とトレードオフになるとみなす従来の見解はなぜ問題か？
• RQ3 予測性能を損なわせることなく、歴史的バイアスを是正できるように機械学習モデルをどのように変更できるか？
• RQ4 デモグラフィックパリティと等しいオッズが互いに排他的であるとされる状況で、それらが共存可能になる因果的メカニズムは何か？
• RQ5 体系的バイアスが存在する文脈では、なぜ予測パリティを公平性の目標として採用すべきでないのか？

主な発見

• 公平性の不可能定理は、デモグラフィックパリティ、等しいオッズ、予測パリティという3つの公平性指標を同時に満たすような単一のデータ生成プロセスが存在しないことに起因する。
• 補正変数 C の導入により、C の条件下でデモグラフィックパリティと等しいオッズが共存可能となり、因果フレームワーク下で不整合性が解消される。
• 真のラベル Y が保護属性 A に因果的に依存する場合、予測パリティは達成不可能である。これは、バイアスが蓄積された歴史的データにおいて一般的な状況である。
• 因果フレームワークにより、公平性が統計的制約ではなく構造的干渉として再定義され、モデル精度を損なわずに公平性を達成可能となる。
• 補正メカニズムにより、C が 0 または 1 をとる確率を調整することで、データ駆動の予測からの逸脱度合いを制御でき、公平性と忠実度のトレードオフを実現できる。
• 公平性が統計的制約ではなく因果的補正として捉えられる場合、公平性と精度は本質的に対立しないことが示された。