[論文レビュー] On Fairness, Diversity and Randomness in Algorithmic Decision Making

Nina Grgić-Hlača, Muhammad Bilal Zafar+2 more|arXiv (Cornell University)|Jun 30, 2017

Ethics and Social Impacts of AI被引用数 12

ひとこと要約

本稿では、公平または非公平な分類器のランダムアンサンブルを用いることで、アルゴリズム意思決定における公平性と精度を向上させることを提案する。多様な分類器の集合からランダムに1つの分類器を選択することで、アンサンブルは特にグループ内結果分布においてより高い公平性を達成するが、個々の分類器が非公平であっても、精度と公平性のトレードオフを維持または改善することができる。

ABSTRACT

Consider a binary decision making process where a single machine learning classifier replaces a multitude of humans. We raise questions about the resulting loss of diversity in the decision making process. We study the potential benefits of using random classifier ensembles instead of a single classifier in the context of fairness-aware learning and demonstrate various attractive properties: (i) an ensemble of fair classifiers is guaranteed to be fair, for several different measures of fairness, (ii) an ensemble of unfair classifiers can still achieve fair outcomes, and (iii) an ensemble of classifiers can achieve better accuracy-fairness trade-offs than a single classifier. Finally, we introduce notions of distributional fairness to characterize further potential benefits of random classifier ensembles.

研究の動機と目的

• 単一の分類器を多様なアンサンブルに置き換えることで、アルゴリズム的意思決定における公平性を向上させられるかどうかを調査すること。
• 分類器アンサンブルにおけるランダムネスと多様性が、差別的取り扱い、影響、誤扱いなどの公平性指標に与える影響を検討すること。
• 非公平な分類器のアンサンブルが依然として公平な結果を生み出す条件を同定すること。
• グループ内での有益な結果の分配が均等になるかどうかを評価する「分布的公平性」という概念を導入し、検討すること。
• 個々のモデルが偏りを有していても、アンサンブル手法が精度と公平性のトレードオフを単一分類器を上回ることを示すこと。

提案手法

• M個の多様な分類器からなる集合から一様にランダムに1つの分類器を選択することで、ランダム分類器アンサンブルを形式化する。各分類器は入力特徴量を二値予測にマッピングする。
• 標準的な指標を用いて公平性を定義する：影響の平等（グループ間で同じ受容率）、機会の平等、誤扱いに関する平等。
• アンサンブルの公平性を分析するため、アンサンブルメンバーに対する確率分布p(j)を用いて、分類器のランダム選択における期待される結果確率を計算する。
• グループ内での有益な結果の分配がどれだけ均等であるかを評価するための「分布的公平性」の概念を導入する。
• 理論的分析と具体例（例えば、影響は同一だが割り当てパターンが異なる2つの分類器）を用いて、個々の分類器とアンサンブルの公平性行動を比較する。
• 複数の公平性定義に基づいて、アンサンブルの性能と個々の分類器の性能を比較することで、精度と公平性のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 公平な分類器のランダムアンサンブルは、複数の公平性定義のもとで公平性を保証することができるか？
• RQ2 非公平な分類器のランダムアンサンブルでさえ、特に感受性グループ内の結果分布の観点から公平な結果を達成できるか？
• RQ3 多様なアンサンブルを用いることで、単一分類器と比較して精度と公平性のトレードオフが改善されるか？
• RQ4 分類器選択におけるランダムネスが、感受性グループ内での有益な結果の分配をより公平にするメカニズムは何か？
• RQ5 現在の公平性指標がなぜグループ内公平性を十分に捉えていないのか、そしてアンサンブルの性能を評価するために必要な新しい概念（例：分布的公平性）は何か？

主な発見

• 公平な分類器のアンサンブルは、影響の平等や機会の平等を含む複数の公平性定義のもとで、保証的に公平である。
• 非公平な分類器のアンサンブルでも、感受性グループ内の個々の個人が有益な結果を受ける確率を均等化することで、依然として公平な結果を達成できる。
• アンサンブルは、すべての個々の分類器が非公平であっても、単一分類器よりも優れた精度と公平性のトレードオフを達成できる。
• 多様なアンサンブルからのランダム選択は、滑らかでより頑健な期待される結果をもたらし、意思決定境界付近の類似した個人に対して極端な結果格差のリスクを低減する。
• 現在の公平性指標はしばしばグループ内公平性を無視している。アンサンブルアプローチは、多様性とランダムネスを活用することで、グループ内での結果確率の均等化（分布的公平性）を著しく向上させられることを明らかにした。
• 2つの分類器を50-50で組み合わせたアンサンブルでは、それぞれが異なる女性のサブセットに有益な結果を割り当てるが、全体の割合は同一である。この場合、全女性が50%の確率で肯定的結果を受けることが保証され、グループ内公平性の向上が明確に示される。