[論文レビュー] Bias Mitigation for Machine Learning Classifiers: A Comprehensive Survey

Max Hort, Zhenpeng Chen+3 more|arXiv (Cornell University)|Jul 14, 2022

Adversarial Robustness in Machine Learning被引用数 23

ひとこと要約

この論文は機械学習分類器のバイアス緩和手法を調査し、前処理・in-processing・後処理に分類し、データセットとベンチマークを用いた評価方法を分析し、実用的な推奨と公開論文リポジトリを結論づける。

ABSTRACT

This paper provides a comprehensive survey of bias mitigation methods for achieving fairness in Machine Learning (ML) models. We collect a total of 341 publications concerning bias mitigation for ML classifiers. These methods can be distinguished based on their intervention procedure (i.e., pre-processing, in-processing, post-processing) and the technique they apply. We investigate how existing bias mitigation methods are evaluated in the literature. In particular, we consider datasets, metrics and benchmarking. Based on the gathered insights (e.g., What is the most popular fairness metric? How many datasets are used for evaluating bias mitigation methods?), we hope to support practitioners in making informed choices when developing and evaluating new bias mitigation methods.

研究の動機と目的

• 機械学習分類器のバイアス緩和手法の包括的な概要を提供する。
• データセット、指標、ベンチマークの慣行を含む、バイアス緩和手法の評価方法を分析する。
• 公平性を意識した機械学習の将来の研究と実践を導く課題と機会を特定する。
• 複製と調査を支援するため、収集論文の公開リポジトリを提供する。

提案手法

• 六つのリポジトリとスノーボール法を通じて、341件の出版物から体系的にバイアス緩和手法を収集・分類する。
• 介入段階別に手法を分類する：前処理、インプロセシング、後処理、そして技術カテゴリ別にさらに分類する。
• 評価慣行を分析する：使用データセット、公平性指標、ベンチマーク手法。
• 手法と刊行媒体の分布を要約し、研究の可視性とトレンドを理解する。
• 集計結果に基づく実務家向けの実用的な推奨を提供する。
• 収集した論文リポジトリを再現と調査のために公開する。

実験結果

リサーチクエスチョン

• RQ1 機械学習分類器のバイアス緩和手法として何が提案されており、介入段階ごとにどう分類されるか？
• RQ2 文献ではバイアス緩和手法はどのように評価されているか（データセット、指標、ベンチマーク）？
• RQ3 バイアス緩和研究の現在の傾向、掲載媒体と可視性はどうで、実務家にはどんな課題が残るか？
• RQ4 今後のバイアス緩和手法の開発と評価を導くための推奨事項は何か？

主な発見

• バイアス緩和手法に関する論文は合計で341件収集された。
• 前処理手法は123件、中処理は212件、後処理は56件である。
• 時間とともに出版物が増加し、刊行媒体の分布も拡大する、バイアス緩和研究の増加傾向がある。
• 主要な刊行先にはNeurIPS (38), ICML (27), AAAI (18), FAccT (13), AIES (12)が含まれる。
• 影響力のある研究の多くは、公平性フレームワークで公開実装が利用可能である。
• 著者らは再現と将来の調査を支援するため、収集論文の公開リポジトリを提供している。