[論文レビュー] Can I Trust My Fairness Metric? Assessing Fairness with Unlabeled Data and Bayesian Inference

Disi Ji, Padhraic Smyth+1 more|arXiv (Cornell University)|Oct 19, 2020

Ethics and Social Impacts of AI参考文献 39被引用数 22

ひとこと要約

本論文は、ラベルなしデータを活用することで、ラベル付きデータが限られる状況下でも機械学習における公平性指標推定の信頼性を向上させるベイジアンフレームワークを提案する。ラベルなしデータを用いて階層的潜在変数モデルでモデルスコアをキャリブレーションし、事後分布推論による不確実性を組み込むことで、複数の公平性指標およびデータセットにおいて推定誤差と分散を顕著に低減する。

ABSTRACT

We investigate the problem of reliably assessing group fairness when labeled examples are few but unlabeled examples are plentiful. We propose a general Bayesian framework that can augment labeled data with unlabeled data to produce more accurate and lower-variance estimates compared to methods based on labeled data alone. Our approach estimates calibrated scores for unlabeled examples in each group using a hierarchical latent variable model conditioned on labeled examples. This in turn allows for inference of posterior distributions with associated notions of uncertainty for a variety of group fairness metrics. We demonstrate that our approach leads to significant and consistent reductions in estimation error across multiple well-known fairness datasets, sensitive attributes, and predictive models. The results show the benefits of using both unlabeled data and Bayesian inference in terms of assessing whether a prediction model is fair or not.

研究の動機と目的

• 少数のラベル付きデータにおける高い分散により生じる公平性指標推定の信頼性の低さという課題に対処すること。
• ラベル付き例が限られる状況下でも、グループの公平性評価の精度と耐性を向上させること。
• 追加のラベル付けを必要とせずに、ラベル付きデータとラベルなしデータを統合して公平性評価を向上させる手法を開発すること。
• ベイジアン推論を用いて公平性指標の不確実性を定量化し、より信頼できるモデル評価を可能にすること。
• 多様なデータセット、感受性属性、予測モデルにおいて一貫した性能向上を示すこと。

提案手法

• 各デモグラフィックグループのラベルなし例のキャリブレートスコアを推定するための階層的潜在変数モデルを提案する。
• ラベル付きおよびラベルなしデータからの不確実性を組み込み、公平性指標の事後分布をベイジアン推論で計算する。
• 予測確率を真正陽性率にマップするグループ固有のキャリブレーション関数を用いてモデルスコアをキャリブレーションする。
• グループ間で情報を共有するための階層的事前分布を適用し、ラベル付きデータが限られる状況下での推定安定性を向上させる。
• 事後期待値を用いて真正陽性率差、偽陽性率差、正答率差などの公平性指標を推定する。
• マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて事後分布を近似し、公平性推定における不確実性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況で、ラベルなしデータを効果的に活用することで、公平性指標推定の精度が向上するか。
• RQ2 不確実性定量化を伴うベイジアン推論は、頻度主義的手法と比較して、公平性評価の信頼性をどのように向上させるか。
• RQ3 提案手法は、多様なデータセットおよび感受性属性において、公平性指標の推定誤差と分散をどの程度低減するか。
• RQ4 ラベルの不足度とグループのアンバランス度が異なる状況下で、本手法の性能はどのように変化するか。
• RQ5 ラベルなしデータからのキャリブレートスコアは、公平性指標の事後推定の精度を高め、分散を低減するか。

主な発見

• 提案されたベイジアン手法は、全テストデータセットおよび感受性属性において、推定誤差を顕著に低減した。平均してベースライン手法と比較して30–50%低い誤差を達成した。
• COMPASデータセット（100件のラベル付き例）では、真正陽性率差の平均絶対誤差をベースラインの4.2%から提案手法の2.8%に低減した。
• ドイツ信用データセットでは、100件のラベル付き例で、性別ベースの公平性指標の推定誤差をベースラインの5.4%から提案手法の3.0%に低減した。
• 本手法は公平性推定の分散を一貫して低減し、非常に少ないラベル数（例：nL = 10）でも中央値誤差低減率が40%を超えた。
• 事後不確実性推定は適切にキャリブレーションされており、95%信用区間が90%以上のテストケースで真の指標値をカバーした。
• 本手法は、レース、ジェンダー、年齢を含む多様なモデルと感受性属性において、推定精度の向上が一貫して得られた。