[論文レビュー] Active Sampling for Min-Max Fairness

Jacob Abernethy, Pranjal Awasthi+4 more|arXiv (Cornell University)|Jun 11, 2020

Machine Learning and Algorithms参考文献 29被引用数 6

ひとこと要約

本稿では、各訓練ステップで最もパフォーマンスが悪いデモグラフィックグループからのデータを優先的に選択することで、機械学習におけるミニマックス公平性を達成するためのアクティブサンプリングおよび再重み付け戦略を提案する。線形回帰やロジスティック回帰などの凸モデルに対して、本手法はアルゴリズム2では$\sim 1/\sqrt{T}$のレート、アルゴリズム3では$\sim 1/T$のレートでミニマックス公平解に理論的に収束することが保証され、全体のパフォーマンスを犠牲にすることなく、シンプルで効率的かつ理論的裏付けのある公平性向上手法を提供する。

ABSTRACT

We propose simple active sampling and reweighting strategies for optimizing min-max fairness that can be applied to any classification or regression model learned via loss minimization. The key intuition behind our approach is to use at each timestep a datapoint from the group that is worst off under the current model for updating the model. The ease of implementation and the generality of our robust formulation make it an attractive option for improving model performance on disadvantaged groups. For convex learning problems, such as linear or logistic regression, we provide a fine-grained analysis, proving the rate of convergence to a min-max fair solution.

研究の動機と目的

• データのアンバランスやタスク自体の難易度の違いによって生じるデモグラフィックグループ間のモデルパフォーマンスの不均一性に対処すること。
• より良いパフォーマンスを示すグループを引き下げることではなく、最もパフォーマンスが低いグループを「引き上げる」公平な学習フレームワークの構築。
• 凸学習問題におけるミニマックス公平性のための理論的裏付けがあり、容易に実装可能なアルゴリズムを提供し、保証された収束レートを達成すること。
• 実世界のデータセットを用いた実験的検証を行い、先行手法と比較して収束速度および公平性パフォーマンスを評価すること。

提案手法

• 各イテレーションで現在の損失が最大のデモグラフィックグループからデータを選択するグループ固有の損失認識サンプリング戦略を用いる。
• 最もパフォーマンスが低いグループからのサンプル点を用いて確率的勾配降下法（SGD）を適用し、モデル更新が公平性を優先するようにする。
• 重み付き集団損失を最適化するための適応的再重み付けを用いた加速版（アルゴリズム3）を導入し、収束速度を向上させる。
• 重み付き集団損失関数$ v(\theta; D_{\mathbf{q}}) = \sum_{i=1}^g \mathbf{q}(i) \mathbb{E}_{z \sim D_i} \ell(\theta, z) $を採用し、下位パフォーマンスのグループを強調するために$ \mathbf{q} $を更新する。
• 微分不能な損失関数に対しても凸性の下で理論的保証を維持できるように、部分勾配法を適用する。
• 過去のモデルパrameterの平均化をオプションで適用し、安定性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最もパフォーマンスが悪いグループからのアクティブサンプリングは、凸学習問題においてミニマックス公平解への収束を保証的に速くすることができるか？
• RQ2 アクティブサンプリングの収束レートは、反復回数および計算コストの観点から、既存のミニマックス公平性手法と比べてどのように異なるか？
• RQ3 提案手法は、代表されないグループの公平性を向上させつつも、強力な一般化性能を維持できるか？
• RQ4 神経ネットワークのような非凸モデルへは理論的保証なしに拡張可能か？また、実験的にその性能はいかがであるか？

主な発見

• アルゴリズム2は、凸学習問題においてミニマックス公平解への収束レートが$ \sim 1/\sqrt{T} $であり、有限サンプル一般化バウンドが提供されている。
• 適応的再重み付けを用いた加速版であるアルゴリズム3は、$ \sim 1/T $のより速い収束レートを達成し、標準的なSGDを上回る収束速度を示した。
• COMPASデータセットでは、1反復あたりの収束速度がDianaら（2021）を著しく上回っており、1回の勾配ステップのみを必要としているにもかかわらず、完全な分類器最適化を必要としているDianaらと比較して顕著に速い収束を示した。
• Diabetes 130-US Hospitalsデータセットでは、アルゴリズム2はMartinezら（2020）と同等のテストパフォーマンスおよび公平性指標を達成し、収束速度と安定性の点でDianaら（2021）を上回った。
• DiabetesデータセットにおけるMLPを用いた非凸設定では、アルゴリズム2はナーブなベースラインと比較して、最もパフォーマンスが低い年齢グループの損失と誤差を低減し、理論を超えた実用的価値を示した。
• 小規模な検証セットを用いる場合、収束がほぼ即時的に行われ、初期イテレーションにおいてベースライン手法を著しく上回った。