[論文レビュー] Preventing Discriminatory Decision-making in Evolving Data Streams

Zichong Wang, Nripsuta Ani Saxena+9 more|arXiv (Cornell University)|Feb 16, 2023

Data Stream Mining Techniques被引用数 6

ひとこと要約

本稿では、概念変化と公平性の変化に適応するストリーミングデータ向けの新しいオンライン公平なクラス再平衡化手法FS2を紹介する。Fair Bonded Utility (FBU) を提案し、性能と公平性のトレードオフを統合的に評価するための指標を提供する。FBUは、概念変化を伴う複数の実世界および合成データストリームにおいて、優れた公平性と性能を示した。

ABSTRACT

Bias in machine learning has rightly received significant attention over the last decade. However, most fair machine learning (fair-ML) work to address bias in decision-making systems has focused solely on the offline setting. Despite the wide prevalence of online systems in the real world, work on identifying and correcting bias in the online setting is severely lacking. The unique challenges of the online environment make addressing bias more difficult than in the offline setting. First, Streaming Machine Learning (SML) algorithms must deal with the constantly evolving real-time data stream. Second, they need to adapt to changing data distributions (concept drift) to make accurate predictions on new incoming data. Adding fairness constraints to this already complicated task is not straightforward. In this work, we focus on the challenges of achieving fairness in biased data streams while accounting for the presence of concept drift, accessing one sample at a time. We present Fair Sampling over Stream ($FS^2$), a novel fair rebalancing approach capable of being integrated with SML classification algorithms. Furthermore, we devise the first unified performance-fairness metric, Fairness Bonded Utility (FBU), to evaluate and compare the trade-off between performance and fairness of different bias mitigation methods efficiently. FBU simplifies the comparison of fairness-performance trade-offs of multiple techniques through one unified and intuitive evaluation, allowing model designers to easily choose a technique. Overall, extensive evaluations show our measures surpass those of other fair online techniques previously reported in the literature.

研究の動機と目的

• 概念変化を伴う進化するデータストリームにおける公平性に配慮したオンライン学習手法の不足に対処すること。
• オンライン環境におけるモデルの性能と公平性のトレードオフを評価する統一的指標を開発すること。
• リアルタイムかつメモリ効率が良く、クラスを動的に再平衡化することでストリーミングデータにおけるバイアスを低減する手法を設計すること。
• 履歴データの再処理を必要とせず、概念変化と公平性の変化の両方に適応できるようにすること。
• 医療や刑事司法などの実世界のオンラインシステムにおける公平な機械学習の実用的導入を可能にすること。

提案手法

• ストリーム上の公平なサンプリング（FS2）を提案し、最近のデータを優先するために減衰係数を用いて、データストリーム内のマイノリティクラスインスタンスを動的に再重み付けする前処理手法である。
• 性能（バランス精度）と公平性（累積SPD/EOD）を統合した1つの解釈可能なスコアとして、Fair Bonded Utility (FBU) を導入する。
• 可変サイズのスライディングウィンドウを用いて最近のデータを追跡し、概念変化を検出する。古くなったインスタンスは破棄され、関連性が維持される。
• 履歴データの影響を制御するための減衰係数を用い、変化への対応速度とクラス不均衡推定の安定性のバランスを取る。
• モデル再トレーニングや複数回のデータスキャンを必要とせず、既存のストリーミング機械学習（SML）分類器とシームレスに統合できる。
• 公平性の変化を時間経過で追跡し、再平衡化の意思決定を支援するために、累積公平性指標（CumSPD, CumEOD）を用いる。

実験結果

リサーチクエスチョン

• RQ1 概念変化と公平性の変化を同時に扱える公平な再平衡化手法を設計できるか？
• RQ2 減衰係数とウィンドウサイズが、動的環境下でのFS2の性能と公平性にどのように影響するか？
• RQ3 FBUのような統一指標が、複数のオンライン公平性手法間の公平性-性能トレードオフを効果的に比較できるか？
• RQ4 概念変化下で、FS2はC-SMOTE、OSBoost、FABBOOなどの既存のオンライン公平性手法と比較して、公平性と予測精度の両面で優れているか？
• RQ5 履歴データの保存や再処理を一切行わずに、FS2は変化するデータ分布に適応しながら公平性を維持できるか、その範囲はどの程度か？

主な発見

• BNKデータセットでは、FS2が最高のバランス精度（0.81）と最小の累積SPD（0.02）を達成し、すべてのベースラインを上回った。
• GMSCデータセットでは、FS2が0.83のバランス精度と0.01の累積SPDを達成し、性能と公平性の両面で第1位となった。
• FBUは、公平性と性能のトレードオフを効果的に捉え、公平性と精度の別々の評価を必要とせずに、手法間の直接比較を可能にした。
• FS2の最適なウィンドウサイズは1000～2000と判明した。これより大きなウィンドウは概念変化への適応が不十分だったが、小さなウィンドウは性能を犠牲にして公平性を向上させた。
• 減衰係数は性能に顕著な影響を与えた。極端に低い値や高い値では結果が劣化し、最適な性能は0.9付近で達成された。
• FS2は概念変化に強く適応可能であり、変化イベント後にも性能と公平性を迅速に回復させた。これに対してC-SMOTEは顕著な性能低下を示した。