[論文レビュー] Promoting Fairness through Hyperparameter Optimization

André F. Cruz, Pedro Saleiro+3 more|arXiv (Cornell University)|Mar 23, 2021

Machine Learning and Data Classification参考文献 38被引用数 6

ひとこと要約

この論文は、追加のトレーニングコストを伴わずに機械学習におけるアルゴリズム的バイアスを低減するためのプラグアンドプレイな公平性対応ハイパーパramータ最適化（HO）を提案する。ランダムサーチ、TPE、Hyperbandを拡張し、予測性能と公平性を同時に最適化することで、実世界の不正検出データセットにおいて平均で111%の公平性向上を達成したが、性能は6%低下した。

ABSTRACT

Considerable research effort has been guided towards algorithmic fairness but real-world adoption of bias reduction techniques is still scarce. Existing methods are either metric- or model-specific, require access to sensitive attributes at inference time, or carry high development or deployment costs. This work explores the unfairness that emerges when optimizing ML models solely for predictive performance, and how to mitigate it with a simple and easily deployed intervention: fairness-aware hyperparameter optimization (HO). We propose and evaluate fairness-aware variants of three popular HO algorithms: Fair Random Search, Fair TPE, and Fairband. We validate our approach on a real-world bank account opening fraud case-study, as well as on three datasets from the fairness literature. Results show that, without extra training cost, it is feasible to find models with 111% mean fairness increase and just 6% decrease in performance when compared with fairness-blind HO.

研究の動機と目的

• 実世界の機械学習パイプラインにおける実用的でデプロイ可能な公平性統合のギャップを埋める。
• 追加のトレーニングや計算コストを負担せずに機械学習モデルのアルゴリズム的バイアスを軽減する。
• 既存のHOワークフローを活用して、MLの実務家が公平性と性能のトレードオフを扱えるようにする。
• HOにおける公平性-性能トレードオフ重みを自動的に設定するためのヒューリスティックを開発する。
• 公平性対応HOの有効性を実世界およびベンチマークデータセット全体で示す。

提案手法

• ランダムサーチ、ツリー構造をもつパルゼン推定（TPE）、Hyperbandという3つの最先端のHOアルゴリズムを、公平性対応版に拡張：Fair Random Search、Fair TPE、Fairband。
• 予測性能と公平性指標の重み付きスカラー化による多目的最適化を定式化する。
• バンディットベースの文脈で最適な公平性重みパrameterを自動的に特定するためのヒューリスティックであるFB-autoを導入する。
• 公平性向上の構成を探索するために、バイアス低減技術（例：指数型勾配（EG））をハイパーパramータ探索空間に統合する。
• データセットやタスクに応じて、等しいオッズまたは偽陽性率パラメータの公平性指標を用いる。
• 大規模な銀行口座開設不正検出システムと3つの公開公平性データセットにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングコストを増加させることなく、ハイパーパramータ最適化によって機械学習モデルの公平性を著しく向上させられるか？
• RQ2 実世界およびベンチマークデータセットにおいて、標準HOと比較して公平性対応HOは、公平性-性能トレードオフの観点でどのように異なるか？
• RQ3 バンディットベースのHO設定において、ヒューリスティックが公平性-性能トレードオフ重みを自動的に設定できるか？
• RQ4 機械学習モデルの種類の選択が、HOにおける達成可能な公平性-性能トレードオフに影響を与えるか？
• RQ5 ある固定の予測性能水準において、公平性の結果に顕著なばらつきが見られ、利用可能なトレードオフが存在するか？

主な発見

• 公平性対応HOは、実世界の口座開設不正検出データセットにおいて、標準HOと比較して平均で111%の公平性指標の向上を達成したが、不正検出率（recall）は6%低下した。
• 公平性-性能パレートフロンティアは、ある性能水準においても公平性に顕著なばらつきを示しており、性能の大幅な損失なしに公平性を向上させられる可能性を示している。
• FairbandとFairTPEは、常にパレートフロンティアに近いかそれ以上のモデルを特定しており、Fairbandは複数の実行においてより一貫した収束を示した。
• 口座開設不正検出データセットにおいて、LGBMモデルが公平性-性能トレードオフの空間を支配しており、モデルタイプが公平性の結果に影響を与えることが示された。
• ハイパーパramータ探索空間にEGのようなバイアス低減アルゴリズムを組み込むことで、パレートフロンティアを拡張できるが、それらを単独で使用すると最適でないトレードオフが生じる可能性がある。
• 本研究は、性能最適化のみを目的とした標準HOが、ハイパーパramータ空間の不公平な領域のモデルを無自覚に選択していることを示しており、公平性対応チューニングの必要性を強調している。