[論文レビュー] FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods

Xiaotian Han, Jianfeng Chi+5 more|arXiv (Cornell University)|Jun 15, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本論文は、機械学習における処理内グループ公平性手法を評価するための標準的でオープンソースのベンチマーク、FFBを紹介する。14のデータセットと45,079回の実験を統合し、データセット前処理、公平性指標、トレーニングパイプラインを統一することで、HSIC手法が最良のユーティリティ-公平性トレードオフを達成し、敵対的デバイアスング手法が不安定であるといった重要な知見を明らかにした。

ABSTRACT

This paper introduces the Fair Fairness Benchmark ( extsf{FFB}), a benchmarking framework for in-processing group fairness methods. Ensuring fairness in machine learning is important for ethical compliance. However, there exist challenges in comparing and developing fairness methods due to inconsistencies in experimental settings, lack of accessible algorithmic implementations, and limited extensibility of current fairness packages and tools. To address these issues, we introduce an open-source standardized benchmark for evaluating in-processing group fairness methods and provide a comprehensive analysis of state-of-the-art methods to ensure different notions of group fairness. This work offers the following key contributions: the provision of flexible, extensible, minimalistic, and research-oriented open-source code; the establishment of unified fairness method benchmarking pipelines; and extensive benchmarking, which yields key insights from $\mathbf{45,079}$ experiments, $\mathbf{14,428}$ GPU hours. We believe that our work will significantly facilitate the growth and development of the fairness research community.

研究の動機と目的

• 実験設定、データセット前処理、および利用可能な実装の欠如による公平性ベンチマークの不整合を是正すること。
• 処理内公平性手法を評価するための統一的で拡張可能かつ最小限のオープンソースフレームワークを提供すること。
• 多様なデータセットと指標をカバーする最先端の公平性アルゴリズムの公正かつ再現可能な比較を可能にすること。
• モデルアーキテクチャーやハイパーパrameterにわたる公平性-ユーティリティトレードオフおよび手法の安定性に関する包括的な実証的分析を提供すること。
• 研究者および実務家がグループ公平性研究のための前処理、評価、実装を標準化することを支援すること。

提案手法

• 公平性アルゴリズムの実装と評価論理を分離するモジュラーでPyTorch風のトレーニングパイプラインの設計。
• 2つの感受性属性を含むデータセットを含む、広く使われている14の公平性データセットにおける前処理の標準化により、一貫性のある比較を実現。
• 9つのグループ公平性指標と6つのユーティリティ指標の包括的なスイートを実装し、統一された評価を可能にした。
• 14のデータセットに対して6つの公平性手法と15種類の異なるニューラルネットワークアーキテクチャをベンチマーク化し、パラメータ数は1160万から1億2690万にわたった。
• 学習率の減少に基づく早期停止を用いた統一されたトレーニングループを採用し、安定性と収束性を評価。
• 再現可能性と拡張性を確保するため、完全なトレーニングログとリファレンス実装を含むオープンソースコードを提供。

実験結果

リサーチクエスチョン

• RQ1 広く使われている公平性データセットは、異なるモデルやトレーニングランにおいて一貫して公平性の問題を示すのか？
• RQ2 多様な公平性手法とデータセットにおいて、ユーティリティ-公平性トレードオフの性質と大きさは何か？
• RQ3 トレーニング中の公平性パフォーマンス曲線はどの程度安定しているのか。特に、どの手法が最も不安定さを示すのか？
• RQ4 モデルアーキテクチャが公平性パフォーマンスに与える影響はどの程度で、バイアスは主にデータかモデル容量に起因するのか？
• RQ5 学習率がしきい値未満に低下した際に早期停止を行うことは、デバイアスング手法における公平性-ユーティリティバランスの改善に有効なのか？

主な発見

• 広く使われている公平性データセットが、すべてのモデルやトレーニングランで一貫して公平性の問題を示すわけではない。これは、データセットバイアスの一貫性に関する仮定に疑問を呈する。
• 評価されたすべての公平性手法において明確なユーティリティ-公平性トレードオフが存在し、公平性緩和における根本的な対立を確認した。
• HSIC（ヒルベルト＝シュミット独立基準）手法が、より一般的なベースラインを上回る、全体的なユーティリティ-公平性トレードオフを達成した。
• 敵対的デバイアスング手法は、トレーニング中に顕著な不安定性を示し、信頼性に制限がある可能性を示唆した。
• ユーティリティのトレーニング曲線は安定しているが、公平性の曲線は不安定であるため、公平性最適化はトレーニングダイナミクスにより敏感であると示唆された。
• 学習率がしきい値未満に低下した際にトレーニングを停止することは、公平性-ユーティリティバランスの改善に有効な実用的戦略である。