[論文レビュー] Addressing multiple metrics of group fairness in data-driven decision making

Marius Miron, Songül Tolan+2 more|arXiv (Cornell University)|Mar 10, 2020

Ethics and Social Impacts of AI参考文献 31被引用数 6

ひとこと要約

本論文は、データ駆動型意思決定システムにおける多様なグループと機械学習モデルの間で複数の公平性指標を評価・可視化するための行列ベースのフレームワーク $\mathbf{M}_p$ を提案する。公平性指標（例：デモグラフィックパラティーション、等しい機会）とその分散を計算することで、階層的クラスタリングを用いてトレードオフやパフォーマンスパターンを明らかにし、Statlog、YouthCAT、COMPAS などのデータセットにおいて、公平性のトレードオフがグループおよびモデルに依存することを示している。

ABSTRACT

The Fairness, Accountability, and Transparency in Machine Learning (FAT-ML) literature proposes a varied set of group fairness metrics to measure discrimination against socio-demographic groups that are characterized by a protected feature, such as gender or race.Such a system can be deemed as either fair or unfair depending on the choice of the metric. Several metrics have been proposed, some of them incompatible with each other.We do so empirically, by observing that several of these metrics cluster together in two or three main clusters for the same groups and machine learning methods. In addition, we propose a robust way to visualize multidimensional fairness in two dimensions through a Principal Component Analysis (PCA) of the group fairness metrics. Experimental results on multiple datasets show that the PCA decomposition explains the variance between the metrics with one to three components.

研究の動機と目的

• 機械学習における複数の、しばしば矛盾する公平性指標を評価する課題に対処すること。
• 異なるデモグラフィックグループおよび機械学習モデル間での公平性指標のトレードオフを特定・可視化すること。
• 実世界の意思決定システムにおける公平性を包括的に評価するための統一的分析ツールを研究者および実務家に提供すること。
• 公平性パフォーマンスがグループおよびモデルによって顕著に異なること、複数指標による評価の必要性を示すこと。

提案手法

• 本手法は、行が機械学習モデルとグループを表し、列が公平性指標とその分散を表す行列 $\mathbf{M}_p$ を構築する。
• 各グループとモデルの組み合わせに対して、デモグラフィックパラティーション差、等しい機会差、平均オッズ差などの標準的な公平性指標を計算する。
• 各公平性指標の分散を計算し、データ分割ごとの公平性推定の安定性と信頼性を評価する。
• 階層的クラスタリングを、行（モデルとグループ）および列（指標）の両方に対して適用し、構造的関係とトレードオフを明らかにする。
• 保護属性として 'personal_status'、'sex'、'race'、'foreigner' を用いて、Statlog、YouthCAT、COMPAS の3つの実世界データセットにフレームワークを適用する。
• 得られた可視化（例：デンドログラム付きのヒートマップ）により、モデルおよびグループ間での公平性パフォーマンスの比較分析が可能になる。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータセットにおいて、異なるデモグラフィックグループおよび機械学習モデル間で、複数の公平性指標はどのように相関しているか？
• RQ2 複数の指標を同時に評価する際、支配的な公平性パフォーマンスのパターンは何か？
• RQ3 公平性のトレードオフは、異なる保護属性やモデルタイプによってどの程度変動するか？
• RQ4 分散の指標によって示されるように、公平性指標の推定値はデータ分割ごとにどの程度安定しているか？
• RQ5 公平性指標とグループの階層的クラスタリングは、モデル選択および公平性の緩和に役立つインサイトを明らかにできるか？

主な発見

• 行列 $\mathbf{M}_p$ は、Statlog、YouthCAT、COMPAS などのデータセットにおいて、多様なグループとモデルの間で複数指標の公平性パフォーマンスを効果的に捉え、可視化できた。
• 階層的クラスタリングにより、公平性指標およびモデル・グループの組み合わせの明確なグループ化が得られ、公平性のトレードオフがすべてのグループに一様ではないことが示された。
• 公平性指標の推定値に顕著な分散が観察され、一部の公平性結果がデータ分割に依存して不安定である可能性があることが示唆された。
• モデルは指標ごとに一貫性のない公平性パフォーマンスを示した—例として、あるモデルが高いデモグラフィックパラティーションを達成している場合でも、特定のグループでは等しい機会の指標で低いパフォーマンスを示した。
• フレームワークにより、ある指標での公平性の向上が、他の指標の劣化を伴うことが露呈された。特に、交差的グループアイデンティティを考慮すると顕著であった。
• 可視化により、特定の保護属性（例：COMPASにおける 'race'）が、他の属性よりも複雑な公平性トレードオフのパターンを生じさせていることが強調された。