[論文レビュー] Information Theoretic Measures for Fairness-aware Feature Selection

Sajad Khodadadian, Mohamed Nafea+2 more|arXiv (Cornell University)|Jun 1, 2021

Ethics and Social Impacts of AI参考文献 40被引用数 5

ひとこと要約

この論文は、シャープレー値を用いて予測精度と差別の行動の両方に及ぼす各特徴量の限界的影響を定量化する情報理論的フレームワークを提案する。相互情報量に基づく精度と差別のの両方の係数を導入し、特定の分類器に依存せずに、有用性と公平性のバランスを取った特徴量選択を可能にする。合成データおよびCOMPASデータセット上で検証され、年齢や前科回数といった高影響特徴量を除去することでバイアスが顕著に低減することが示された。

ABSTRACT

Machine learning algorithms are increasingly used for consequential decision making regarding individuals based on their relevant features. Features that are relevant for accurate decisions may however lead to either explicit or implicit forms of discrimination against unprivileged groups, such as those of certain race or gender. This happens due to existing biases in the training data, which are often replicated or even exacerbated by the learning algorithm. Identifying and measuring these biases at the data level is a challenging problem due to the interdependence among the features, and the decision outcome. In this work, we develop a framework for fairness-aware feature selection which takes into account the correlation among the features and the decision outcome, and is based on information theoretic measures for the accuracy and discriminatory impacts of features. In particular, we first propose information theoretic measures which quantify the impact of different subsets of features on the accuracy and discrimination of the decision outcomes. We then deduce the marginal impact of each feature using Shapley value function; a solution concept in cooperative game theory used to estimate marginal contributions of players in a coalitional game. Finally, we design a fairness utility score for each feature (for feature selection) which quantifies how this feature influences accurate as well as nondiscriminatory decisions. Our framework depends on the joint statistics of the data rather than a particular classifier design. We examine our proposed framework on real and synthetic data to evaluate its performance.

研究の動機と目的

• 機械学習システムにおいて、予測精度と差別的結果の両方に寄与する特徴量を同定する課題に対処すること。
• 特徴量の相互依存関係を考慮しながら、特徴量が精度と差別行動に与える限界的影響を定量化する手法を開発すること。
• 予測性能と公平性のトレードオフを考慮した公平性・有用性スコアを構築し、特徴量選択を可能にすること。
• 分類器に依存しないフレームワークを実現するため、特徴量、感受性属性、出力の結合統計的分布にのみ依存すること。
• 実世界の（COMPASの）および合成データセット上でフレームワークを評価し、顕著な精度損失を伴わずにバイアス低減を実現できることを示すこと。

提案手法

• 特徴量サブセット、感受性属性、出力の間の相互情報量に基づいて、2つの情報理論的測度を定義する：精度への限界的影響（φ^Acc）と差別への限界的影響（φ^D）。
• 協力ゲーム理論におけるシャープレー値を用いて、各個々の特徴量が全体の精度スコアおよび差別スコアに与える限界的寄与度を計算する。
• 重みパラメータαを用いてφ^Accとφ^Dの重み付き組み合わせとして公平性・有用性スコアを構築する。
• データから結合確率分布（合成ケースではグラフィカルモデルを用いて）を推定し、必要なすべての相互情報量項を導出する。
• ニューラルネットワーク分類器を訓練し、特徴量を除去した際の予測誤差とバイアス（KLダイバージェンス）の変化を測定することで、実データおよび合成データセットにフレームワークを適用する。
• 100回の繰り返し実験から得た信頼区間を用いて、測度の安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴量の相互依存関係を考慮しながら、各特徴量が予測精度と差別的影響に与える限界的寄与度をどのように定量化できるか。
• RQ2 情報理論的測度は、特徴量、感受性属性、意思決定結果の間の非線形関係をどの程度正確に捉えることができるか。
• RQ3 シャープレー値に基づく分解は、協力的フレームワーク内で特徴量の公平性および有用性への個別的影響を効果的に分離できるか。
• RQ4 提案された公平性・有用性スコアは、既存の手法と比較して、実世界のデータセットにおける高影響の差別的代理変数を特定する上で優れているか。
• RQ5 高差別係数を持つ特徴量を除去することで、精度の著しい損失を伴わずに分類器のバイアスが顕著に低減するか。

主な発見

• 合成データセットでは、特徴量X₃とX₄が最も高い限界的精度係数（それぞれ4.467および3.122）を示し、それらを除去することで予測誤差が最大に増加した。
• 特徴量X₁が最も高い限界的差別係数（2.7927 × 10⁷）を示し、その除去により分類器出力のバイアスが最小となった。
• COMPASデータセットでは、年齢（Age）と前科回数（Prior Counts）がそれぞれ最も高い差別係数（6.0904 × 10⁶および5.0466 × 10⁶）を示し、それらを除去することでバイアスが最も顕著に低減した。
• 処罰度（Charge Degree）と性別（Gender）は最も低い精度係数（0.1723および0.4186）を示し、それらを除去しても予測誤差にほとんど影響がなかった。これは分類に低有用性であることを確認した。
• このフレームワークは、COMPASデータセットにおいて年齢と前科回数が人種の強力な代理変数（proxy）であることを的確に同定した。これは、レディニングや代理差別に関する先行研究と整合的であった。
• 両方のデータセットの結果から、提案された係数と実際の分類器性能およびバイアスの変化との間に強い相関が認められ、フレームワークの信頼性と解釈可能性が裏付けられた。