[論文レビュー] Multiaccuracy: Black-Box Post-Processing for Fairness in Classification

Michael P. Kim, Amirata Ghorbani+1 more|arXiv (Cornell University)|May 31, 2018

Explainable Artificial Intelligence (XAI)参考文献 5被引用数 27

ひとこと要約

この論文では、再訓練を必要とせず、特定の属性を明示的に提供されないままに、サブグループにおける系統的な誤りを繰り返し是正することで、分類における公平性を向上させるブラックボックス後処理手法であるMultiaccuracy Boostを紹介する。敏感な属性が提供されていなくても、マイノリティグループにおける精度が向上し、全体の性能を維持または向上させる。

ABSTRACT

Prediction systems are successfully deployed in applications ranging from disease diagnosis, to predicting credit worthiness, to image recognition. Even when the overall accuracy is high, these systems may exhibit systematic biases that harm specific subpopulations; such biases may arise inadvertently due to underrepresentation in the data used to train a machine-learning model, or as the result of intentional malicious discrimination. We develop a rigorous framework of *multiaccuracy* auditing and post-processing to ensure accurate predictions across *identifiable subgroups*. Our algorithm, MULTIACCURACY-BOOST, works in any setting where we have black-box access to a predictor and a relatively small set of labeled data for auditing; importantly, this black-box framework allows for improved fairness and accountability of predictions, even when the predictor is minimally transparent. We prove that MULTIACCURACY-BOOST converges efficiently and show that if the initial model is accurate on an identifiable subgroup, then the post-processed model will be also. We experimentally demonstrate the effectiveness of the approach to improve the accuracy among minority subgroups in diverse applications (image classification, finance, population health). Interestingly, MULTIACCURACY-BOOST can improve subpopulation accuracy (e.g. for "black women") even when the sensitive features (e.g. "race", "gender") are not given to the algorithm explicitly.

研究の動機と目的

• 代表されないサブグループに特に顕著に影響を及ぼす系統的なバイアスを是正すること。
• モデルの内部構造にアクセスできない状況下でも、識別可能なサブグループ全体で正確な予測を保証する後処理フレームワークを開発すること。
• モデルがブラックボックスサービスとして提供され、再訓練が不可能な実世界の環境で公平性を向上させること。
• 感受性属性が監査者に提供されていない場合でも、マルチアキュラシー監査がサブグループ固有の誤りを検出し是正できることを示すこと。
• マルチアキュラシーのための後処理が、全体のモデルの有用性を損なうことなく公平性を向上させること。

提案手法

• 本手法はブラックボックス分類器 $ f_0 $ と、ラベル付きの小さな検証データセットを用い、すべての識別可能なサブグループにわたる偏りのない予測（マルチアキュラシー）を監査する。
• 監査者アルゴリズムは、サブグループへの所属関係と予測誤差の相関関係を分析することで、$ f_0 $ が系統的な誤りを犯しているサブグループを同定する。
• Multiaccuracy Boostは、識別されたサブグループにおける誤りを是正するために弱学習器を用いて繰り返し後処理を実行し、それらのグループにおける精度を向上させる。
• アルゴリズムは、限定的なラベル付きデータを用いて、誤差率の高いサブグループを効率的に同定できると仮定している。
• 感受性属性（例：人種、性別）の知識がなくても、サブグループ内のバイアスを検出し是正できる。
• やや弱い仮定の下で収束が保証され、初期モデルで十分に分類されているサブグループでは性能の低下がない。

実験結果

リサーチクエスチョン

• RQ1 モデルの内部構造や感受性属性にアクセスできない状況下でも、ブラックボックス後処理手法が分類の公平性を向上させられるか？
• RQ2 感受性特徴が明示的に提供されていない場合でも、マルチアキュラシー監査がサブグループ固有の誤りをどの程度検出し是正できるか？
• RQ3 マルチアキュラシーのための後処理は、全体のモデル性能を劣化させることなくサブグループの精度を向上させられるか？
• RQ4 画像分類、ファイナンス、ヘルスケアなどの実世界の応用において、Multiaccuracy Boostはどの程度有効か？
• RQ5 マイノリティグループが検証データに十分に含まれていない場合でも、マルチアキュラシー後処理が一般化性能と全体の精度を向上させられるか？

主な発見

• 感受性属性（人種や性別など）がアルゴリズムに提供されていなくても、『ブラック・ウーマン』などのサブグループにおける精度が向上する。
• 精度の格差が顕著に減少し、Gender Shadesベンチマークで最大34%のギャップが是正された。
• マイノリティグループが検証データに十分に含まれていなくても、後処理により全体のモデル精度が向上する。
• アルゴリズムは効率的に収束し、初期モデルですでに良好に分類されているサブグループでも性能を維持または向上させる。
• マルチアキュラシー監査は、画像認識やヘルスケアを含む多様な応用で、感受性属性の明示的知識なしに性能が低いサブグループを効果的に同定した。
• 本フレームワークは、ドメイン適応の文脈で複雑なトランスファーラーニング手法に代わる軽量で実用的なブラックボックス代替手段としての有効性を示した。