[論文レビュー] An Empirical Study of Modular Bias Mitigators and Ensembles

Michael Feffer, Martin Hirzel+4 more|arXiv (Cornell University)|Feb 1, 2022

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本稿では、10種類のバイアス軽減手法と4種類のアンサンブル手法を組み合わせるモジュラーなフレームワークを、オープンソースライブラリを介して提案し、機械学習における公平性と安定性の向上を図る。13のデータセットを用いた実証的評価では、アンサンブル（特にスタッキングとブースティング）が公平性指標の安定性を向上させることを示し、最適な設定はデータセットのサイズと初期の公平性水準に依存する。これにより、実務家向けのガイダンス図が得られた。

ABSTRACT

There are several bias mitigators that can reduce algorithmic bias in machine learning models but, unfortunately, the effect of mitigators on fairness is often not stable when measured across different data splits. A popular approach to train more stable models is ensemble learning. Ensembles, such as bagging, boosting, voting, or stacking, have been successful at making predictive performance more stable. One might therefore ask whether we can combine the advantages of bias mitigators and ensembles? To explore this question, we first need bias mitigators and ensembles to work together. We built an open-source library enabling the modular composition of 10 mitigators, 4 ensembles, and their corresponding hyperparameters. Based on this library, we empirically explored the space of combinations on 13 datasets, including datasets commonly used in fairness literature plus datasets newly curated by our library. Furthermore, we distilled the results into a guidance diagram for practitioners. We hope this paper will contribute towards improving stability in bias mitigation.

研究の動機と目的

• 少数派グループにおけるデータ不足下でも、バイアス軽減における公平性指標の不安定性を是正すること。
• アンサンブル手法が精度の安定化と同じように、公平性指標の安定化にも寄与するかを調査すること。
• バイアス軽減手法とアンサンブルのシステム的組み合わせを可能にする、モジュラーかつ組み立て可能なライブラリの開発。
• データセットの特徴と公平性の目的に基づき、最適な組み合わせをデータ駆動で提示するガイダンスの提供。

提案手法

• 10種類のAIF360ベースのバイアス軽減手法と4種類のscikit-learnベースのアンサンブル手法を、共通インターフェースで統合可能なオープンソースライブラリ（Lale）を構築。
• 標準的な公平性ベンチマークと新たに収集したデータセットを含む13のデータセットを用い、標準化された出力と差別の影響および統計的同一性のばらつきを指標として、公平性を測定した実証的評価を実施。
• 公平性のパフォーマンスと安定性を比較するため、標準化された指標（SDO、SDV、SSO、SSV）を用い、アンサンブルレベルと推定器レベルの両方の軽減手法を含む設定を評価。
• データセットのサイズ（8,000行以上）とベースラインの不平等度（DI < 0.49）に基づく四象限フレームワークを用い、結果をグループ化し、最適な設定を同定。
• 各データセットごとに、出力とばらつきの両方で上位33%の結果をフィルタリングし、四象限とモデル設定ごとに集約することで、意思決定ガイダンス図（図6）を生成。

実験結果

リサーチクエスチョン

• RQ1 モジュラーなアンサンブルは、機械学習モデルにおける公平性指標の安定性を向上させることができるか？
• RQ2 さまざまなアンサンブルタイプ（例：バギング、ブースティング、ボーティング、スタッキング）は、多様なバイアス軽減手法とどのように相互作用し、公平性の結果に影響を与えるか？
• RQ3 多様なデータセットにおいて、最も安定的かつ良好な公平性パフォーマンスを達成するアンサンブルと軽減手法の設定は何か？
• RQ4 データセットのサイズとベースラインの公平性は、アンサンブルと軽減手法の最適な組み合わせにどのように影響を与えるか？
• RQ5 データ駆動のガイダンス図は、新しい公平性が重要な応用分野において、効果的なアンサンブルと軽減手法の組み合わせの選定を実務家に支援できるか？

主な発見

• アンサンブル、特にスタッキングとブースティングは、公平性指標のばらつきを顕著に低減する。例として、1つのデータセットでパassedスラウジと最終段階の軽減を組み合わせたスタッキングでは、SDVが0.229に低下した。
• ベース推定器の軽減とパassedスラウジを組み合わせたスタッキングが、最も高い標準化された差別の影響出力（SDO = 0.832）と最小のばらつき（SDV = 0.515）を達成した。
• 大規模で不平等度の高いデータセットでは、推定器内での軽減を施したブースティングが最良の公平性結果をもたらし、SDOが0.803、SDVが0.642を記録した。
• 小規模で不平等度の高いデータセットでは、スタッキングを用いた推定器後処理の軽減が最適であり、高いSDO（0.670）と低いSDV（0.506）を達成した。
• ガイダンス図（図6）は、文脈依存の最適な設定を同定しており、すべてのデータセットと指標において、一貫して優れた結果を示す唯一の組み合わせは存在しないことを示している。
• 高い公平性の向上が見られたとしても、最良の設定は、データセットのサイズと初期の公平性に強く依存しており、文脈に応じた選択の重要性が浮き彫りになった。