[論文レビュー] Adaptive Sampling to Reduce Disparate Performance

Jacob Abernethy, Pranjal Awasthi+3 more|arXiv (Cornell University)|Jun 11, 2020

Machine Learning and Algorithms参考文献 38被引用数 11

ひとこと要約

本稿では、トレーニング中に性能が低いとされるデモグラフィックグループからのデータを動的に優先的にサンプリングすることで、機械学習分類器における性能の不均衡を低減するためのアダプティブサンプリングを提案する。最も不利なグループから継続的にサンプリングすることで、最小限のデータ収集オーバーヘッドで公平性を向上させ、理論的分析および実世界の評価の両方で、グループ間での等しい性能を達成する。Flint水質危機データセットも含め、実データを用いた評価が行われた。

ABSTRACT

Existing methods for reducing disparate performance of a classifier across different demographic groups assume that one has access to a large data set, thereby focusing on the algorithmic aspect of optimizing overall performance subject to additional constraints. However, poor data collection and imbalanced data sets can severely affect the quality of these methods. In this work, we consider a setting where data collection and optimization are performed simultaneously. In such a scenario, a natural strategy to mitigate the performance difference of the classifier is to provide additional training data drawn from the demographic groups that are worse off. In this paper, we propose to consistently follow this strategy throughout the whole training process and to guide the resulting classifier towards equal performance on the different groups by adaptively sampling each data point from the group that is currently disadvantaged. We provide a rigorous theoretical analysis of our approach in a simplified one-dimensional setting and an extensive experimental evaluation on numerous real-world data sets, including a case study on the data collected during the Flint water crisis.

研究の動機と目的

• データの偏りや品質の低さによって生じるデモグラフィックグループ間での機械学習分類器の性能差を是正すること。
• 大規模でバランスの取れたデータセットへのアクセスを前提とせず、データ収集とモデル最適化をリアルタイムで統合する手法を開発すること。
• 現在の不利なデモグラフィックグループから動的にサンプリングすることで、トレーニングプロセスをグループ間の性能を均等にする方向に誘導すること。
• 動的データサンプリングを通じた公平性向上の理論的裏付けと実証的妥当性を兼ね備えたアプローチを提供すること。

提案手法

• トレーニング中に分類器の性能が最も低いとされるデモグラフィックグループからのデータポイントをアダプティブにサンプリングする。
• グループごとの性能指標に基づいて、トレーニング中にリアルタイムでサンプリング確率を調整する。
• 収束性と公平性の保証を確立するために、単純化された1次元設定での理論的分析を実施する。
• Flint水質危機データを含む複数の実世界データセットを用いて、実用的有効性を実証する。
• トレーニング全体を通じてグループごとの性能を監視し、性能が低いグループにサンプリングを偏らせて差を是正する。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前データセットがなくても、トレーニング中のアダプティブサンプリングによってデモグラフィックグループ間の性能差を低減できるか？
• RQ2 性能が低いグループを動的に優先することで、全体の公平性とモデルの正確性にどのような影響を与えるか？
• RQ3 制御された単純化された設定におけるアダプティブサンプリングにどのような理論的保証を提供できるか？
• RQ4 本手法は、元々データに偏りがある実世界のデータセットでも効果を発揮するか？

主な発見

• アダプティブサンプリング手法は、合成データおよび実世界データの両方で、デモグラフィックグループ間の性能差を顕著に低減した。
• Flint水質危機の事例研究において、人口構成が異なる地域間で予測性能のバランスが改善された。
• 1次元設定での理論的分析により、やや緩い仮定のもとで、本手法が公平な解に収束することを確認した。
• 実証的結果から、複数のベンチマークデータセットにおいて、全体のモデル正確性を損なわせることなく、公平性指標が一貫して向上した。