[論文レビュー] FairPrep: Promoting Data to a First-Class Citizen in Studies on Fairness-Enhancing Interventions

Sebastian Schelter, Yuxuan He+2 more|arXiv (Cornell University)|Nov 28, 2019

Ethics and Social Impacts of AI参考文献 34被引用数 21

ひとこと要約

FairPrep は、ハイパラメータチューニング、特徴量スケーリング、欠損値補完などの介入の体系的評価を可能にする、開発者中心のフレームワークであり、公平性向上の機械学習においてデータ前処理を第一級の概念に引き上げる。本研究では、研究間での公平性結果のばらつきが、本質的なモデルの不安定性ではなく、不十分なハイパラメータチューニングやデータクリーニングに起因することが示されている。

ABSTRACT

The importance of incorporating ethics and legal compliance into machine-assisted decision-making is broadly recognized. Further, several lines of recent work have argued that critical opportunities for improving data quality and representativeness, controlling for bias, and allowing humans to oversee and impact computational processes are missed if we do not consider the lifecycle stages upstream from model training and deployment. Yet, very little has been done to date to provide system-level support to data scientists who wish to develop and deploy responsible machine learning methods. We aim to fill this gap and present FairPrep, a design and evaluation framework for fairness-enhancing interventions. FairPrep is based on a developer-centered design, and helps data scientists follow best practices in software engineering and machine learning. As part of our contribution, we identify shortcomings in existing empirical studies for analyzing fairness-enhancing interventions. We then show how FairPrep can be used to measure the impact of sound best practices, such as hyperparameter tuning and feature scaling. In particular, our results suggest that the high variability of the outcomes of fairness-enhancing interventions observed in previous studies is often an artifact of a lack of hyperparameter tuning. Further, we show that the choice of a data cleaning method can impact the effectiveness of fairness-enhancing interventions.

研究の動機と目的

• 責任ある機械学習システムを構築する際のデータサイエンティストに対するシステムレベルの支援の欠如に対処すること。
• 実験的設計の不備に起因する一貫性のない結果を含め、公平性向上介入に関する既存の実証的研究における欠陥を特定すること。
• 補完や特徴量スケーリングなどのデータ前処理を、公平性評価における重要な第一級の段階として促進すること。
• ソフトウェア工学および機械学習のベストプラクティスを守りながら、低コストでカスタマイズ可能な公平性実験の設定を可能にすること。
• 拡張可能でモジュラーなコンponentsと将来の可視化機能を備えた、技術的・非技術的ユーザーが公平性を分析できる仕組みを提供すること。

提案手法

• 公平性介入をエンドツーエンドのMLパイプラインに統合する開発者中心のアプローチに基づく、モジュラで拡張可能なフレームワークの設計。
• 欠損値補完（例：Datawig）、特徴量スケーリング、k分割交差検証によるハイパラメータチューニングを含む、標準的なデータ前処理技術の統合。
• 標準的なMLライブラリ（例：scikit-learn）を用いたモデル選択と検証を可能にし、カスタマイズ可能なハイパラメータグリッドをサポート。
• テストデータの分離を確保し、データ漏洩を防ぐための適切な評価プロトコルを実装。
• 異なる前処理およびチューニング戦略間での公平性結果の比較を可能にする構造化されたワークフローの提供。
• 将来の介入、例えば層別抽出、埋め込み、非二値分類タスクなどに対応できるように、フレームワークを拡張可能に設計。

実験結果

リサーチクエスチョン

• RQ1 ハイパラメータチューニングは、実証的公平性研究における公平性結果のばらつきにどの程度影響を及えるか？
• RQ2 異なるデータ補完手法は、機械学習モデルの公平性と精度にどのように影響を及えるか？
• RQ3 データ前処理は、人種的・性的なグループ間での不均衡な誤差率を軽減するために果たす役割は何か？
• RQ4 体系的でベストプラクティスに基づいたフレームワークは、技術的負債を低減し、再現性を向上させることができるか？
• RQ5 公平性向上介入は、実世界のMLパイプラインでデータサイエンティストがモジュラーかつカスタマイズ可能に組み合わせ・調整できるか？

主な発見

• 過去の研究で観察された公平性結果の高いばらつきは、本質的なモデルの不安定性ではなく、不十分なハイパラメータチューニングに起因することが多い。
• データ補完手法の選択が、公平性介入の有効性に顕著な影響を及える。特に、Datawig などの最先端手法は、デフォルトの平均補完よりもバイアスをより効果的に低減する。
• 特徴量スケーリングは、適切なハイパラメータチューニングと組み合わせることで、モデルの汎化性能を向上させ、人種的・性的なグループ間での誤差率の不均衡を低減する。
• 欠損値の適切な処理を含む、適切なデータ前処理は、公平で正確なモデル性能を達成する上で不可欠である。
• FairPrep は、再現性があり、モジュラでカスタマイズ可能な公平性介入の評価を可能にし、技術的負債を低減し、実験の厳密性を向上させる。
• このフレームワークは、公平性が単にモデルレベルの問題ではなく、上流のデータ準備段階に深く関与していることを示している。