[論文レビュー] Can We Achieve Fairness Using Semi-Supervised Learning?

Joymallya Chakraborty, Huy Tu+2 more|arXiv (Cornell University)|Nov 3, 2021

Adversarial Robustness in Machine Learning参考文献 53被引用数 4

ひとこと要約

本論文では、仮のラベル付けとデータ拡張を用いることで、ラベル付きデータがたった10%の状況でも機械学習モデルにおける公平性を達成するFair-SSLという半教師あり学習フレームワークを提案する。バランスの取れた仮のラベル付き学習データを生成することで、Fair-SSLは最先端のバイアス低減手法と同等の性能を達成するとともに、高コストなラベル付きデータへの依存を顕著に低減する。

ABSTRACT

Ethical bias in machine learning models has become a matter of concern in the software engineering community. Most of the prior software engineering works concentrated on finding ethical bias in models rather than fixing it. After finding bias, the next step is mitigation. Prior researchers mainly tried to use supervised approaches to achieve fairness. However, in the real world, getting data with trustworthy ground truth is challenging and also ground truth can contain human bias. Semi-supervised learning is a machine learning technique where, incrementally, labeled data is used to generate pseudo-labels for the rest of the data (and then all that data is used for model training). In this work, we apply four popular semi-supervised techniques as pseudo-labelers to create fair classification models. Our framework, Fair-SSL, takes a very small amount (10%) of labeled data as input and generates pseudo-labels for the unlabeled data. We then synthetically generate new data points to balance the training data based on class and protected attribute as proposed by Chakraborty et al. in FSE 2021. Finally, the classification model is trained on the balanced pseudo-labeled data and validated on test data. After experimenting on ten datasets and three learners, we find that Fair-SSL achieves similar performance as three state-of-the-art bias mitigation algorithms. That said, the clear advantage of Fair-SSL is that it requires only 10% of the labeled training data. To the best of our knowledge, this is the first SE work where semi-supervised techniques are used to fight against ethical bias in SE ML models.

研究の動機と目的

• ソフトウェア工学の応用分野に広がる機械学習モデルにおける倫理的バイアスを是正すること。
• しばしば不足しており、バイアスを含む可能性がある信頼性の高い真のラベルを大量に必要としないように依存度を低減すること。
• 半教師あり学習技術が分類モデルにおけるバイアス低減に効果的に機能するかどうかを調査すること。
• 最小限のラベル付きデータで高い性能を維持しつつ公平性を達成するフレームワークを開発すること。
• 半教師あり学習が公平性低減に有効であるかどうかを評価すること。これはソフトウェア工学分野における新しい応用分野である。

提案手法

• フレームワークは、仮のラベル生成のための4つの代表的な半教師あり学習手法を用いる。
• 学習データの10%のみをラベル付きとし、それをもとに残りの90%のデータに対して仮のラベルを生成する。
• Chakrabortyら（FSE 2021）が提案したように、クラスと保護属性のバランスに基づいたデータ拡張を適用し、合成された新しいトレーニングサンプルを生成する。
• 最終的なモデルは拡張済みの仮のラベル付きデータセットで訓練され、テストデータで検証される。
• 本手法は10のデータセットおよび3種類の異なる分類学習器を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習技術は、機械学習モデルにおける倫理的バイアスを効果的に低減できるか？
• RQ2 10%のラベル付きデータのみを用いた場合、Fair-SSLの性能は最先端のバイアス低減アルゴリズムと比べてどうなるか？
• RQ3 仮のラベル付けとデータ拡張の使用は、大量のラベル付きデータを必要とせずに公平性を向上させるか？
• RQ4 Fair-SSLは多様なデータセットおよび異なる分類学習器に対して頑健か？

主な発見

• Fair-SSLは、3つの最先端のバイアス低減アルゴリズムと同等の公平性性能を達成した。
• フレームワークは、学習データのラベル付きデータをたった10%に抑えながらも、強力なモデル性能を維持した。
• 仮のラベル付けと合成データ拡張の使用により、クラスと保護属性の分布が効果的にバランスされた。
• Fair-SSLは、機械学習モデルにおける倫理的バイアス低減に半教師あり学習を応用した、ソフトウェア工学分野で初の取り組みである。