[論文レビュー] Beyond Adult and COMPAS: Fairness in Multi-Class Prediction

Wael Alghamdi, Hsiang Hsu+5 more|arXiv (Cornell University)|Jun 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文では、KLダイバージェンスを用いた情報射影による公平性制約付き集合への射影を通じて、事前学習済みモデル出力を後処理することで、グループの公平性を保証するスケーラブルでモデルに依存しない後処理手法FairProjectionを提案する。精度と公平性のトレードオフが競争力を持ち、100万件を超えるサンプルを含むデータセットにもスケーラブルに適用可能であり、大規模なENEMデータセットにおいて優れた性能を示し、実行時間とスケーラビリティにおいて最先端の手法を上回っている。

ABSTRACT

We consider the problem of producing fair probabilistic classifiers for multi-class classification tasks. We formulate this problem in terms of "projecting" a pre-trained (and potentially unfair) classifier onto the set of models that satisfy target group-fairness requirements. The new, projected model is given by post-processing the outputs of the pre-trained classifier by a multiplicative factor. We provide a parallelizable iterative algorithm for computing the projected classifier and derive both sample complexity and convergence guarantees. Comprehensive numerical comparisons with state-of-the-art benchmarks demonstrate that our approach maintains competitive performance in terms of accuracy-fairness trade-off curves, while achieving favorable runtime on large datasets. We also evaluate our method at scale on an open dataset with multiple classes, multiple intersectional protected groups, and over 1M samples.

研究の動機と目的

• 複数の重複する保護群を含む多クラス分類に対して、スケーラブルで公平な後処理手法が不足しているという問題に対処すること。
• Adult や COMPAS のようなよく使われているデータセットや二値分類にとどまらない、公平性の介入を多クラス分類に拡張すること。
• 理論的裏付けがあり、並列処理が可能なアルゴリズムを開発し、公平性を維持しながら予測精度を保つこと。
• 複雑な交差的グループ構造を持つ大規模な実世界データセットにおいて、公平性手法を評価すること。
• 一般的に使われるデータセットの代替としてENEMデータセットを導入することで、公平な機械学習におけるより広範なベンチマーク評価を促進すること。

提案手法

• 公平性を情報射影問題として定式化：事前学習済みの確率的分類器を、KLダイバージェンスを用いて公平性制約付きの分布の凸集合へ射影する。
• 射影された分類器は、元のモデル出力の乗法的後処理により得られ、スケーリング係数はグループ公平性制約から導出される。
• 反復的かつ並列処理可能なアルゴリズムにより、最適なスケーリング係数を効率的に計算し、GPUアクセラレーションと大規模なデプロイメントを可能にする。
• 収束性と標本複雑性に関する理論的保証が提供され、有限の学習データでも頑健性を確保する。
• モデルに依存せず、アーキテクチャにかかわらず任意の事前学習済み確率的分類器に適用可能である。
• アルゴリズムはTensorFlowで実装され、再現性のため公開されている。

実験結果

リサーチクエスチョン

• RQ1 有限のデータにおいて、既知の分布の理論的仮定を越えて、情報射影が多クラス公平性に効果的に適応可能か？
• RQ2 大規模なデータセットにおいて、提案手法FairProjectionは最先端の公平性介入手法と比べて、精度と公平性のトレードオフで優れているか？
• RQ3 100万件を超えるサンプルを含むデータセットにおいて、FairProjectionは高速な実行時間性能を維持しながら公平性を保っているか？
• RQ4 実世界の高次元データセットにおける複雑で交差的な保護群に対して、この手法は効果的に一般化できるか？
• RQ5 ENEMデータセットは、多クラス学習における公平性介入の評価に実用的で大規模なベンチマークとして十分に機能するか？

主な発見

• FairProjectionは、HSLS、Adult、COMPASを含む複数のデータセットで競争力のある精度・公平性のトレードオフを達成し、実行時間効率において最先端の手法を上回っている。
• アルゴリズムは100万件を超えるサンプルを含むデータセット（例えばブラジルのENEMデータセット）に対しても効果的にスケーリング可能であり、大規模な公平性評価を可能にしている。
• 実世界の教育分類タスクにおいて、人種、性別、年齢など複数の重複する保護群に対して、公平性を維持している。
• 収束性と標本複雑性に関する理論的保証が確立されており、学習データが限られている場合でも頑健性を確保している。
• 実装は並列処理可能で、GPU上で効率的に実行され、非並列処理の代替手法と比べて推論時間を顕著に短縮している。
• 本研究では、プライバシーも公平性も損なわず、実世界の匿名化済み大規模データセットにFairProjectionを適用可能であることを示している。