[論文レビュー] Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees

L. Elisa Celis, Lingxiao Huang+2 more|arXiv (Cornell University)|Jun 8, 2020

Explainable Artificial Intelligence (XAI)参考文献 51被引用数 8

ひとこと要約

本稿は、ノイズのある保護属性の下で公平な分類を実現するための新規最適化フレームワークを提案する。ノイズ除去された公平性制約を用いることで、反転ノイズが存在しても、保証された精度と公平性を維持する。複数の非二値保護属性と一般化された線形分数型公平性指標（例：偽陽性率、偽発見率）を扱い、Adult や COMPAS といった実世界のデータセットにおいて、最小限の精度損失で高い公平性を達成する。

ABSTRACT

We present an optimization framework for learning a fair classifier in the presence of noisy perturbations in the protected attributes. Compared to prior work, our framework can be employed with a very general class of linear and linear-fractional fairness constraints, can handle multiple, non-binary protected attributes, and outputs a classifier that comes with provable guarantees on both accuracy and fairness. Empirically, we show that our framework can be used to attain either statistical rate or false positive rate fairness guarantees with a minimal loss in accuracy, even when the noise is large, in two real-world datasets.

研究の動機と目的

• 保護属性（例：人種、性別）が学習またはデプロイメント中に反転ノイズによって損なわれる状況下で、公平な分類器を学習する課題に対処すること。
• ノイズのある保護属性入力に対しても公平性と精度の保証を維持できる統一された最適化フレームワークを構築すること。
• 既存の公平な分類手法を、複数の非二値保護属性と、線形分数型公平性制約（例：統計的レート、偽陽性率、偽発見率）の広いクラスをサポートするように拡張すること。
• ノイズのあるデータ下での公平性と精度について、理論的保証（特に分類器性能の高確率境界）を提供すること。
• 実世界のデータセットを用いた実験的検証を通じて、大規模なノイズレベルに対しても高いロバストネスを示し、ベースラインと比較して優れた公平性-精度トレードオフを達成すること。

提案手法

• ノイズ除去ステップを導入し、既知のノイズ遷移行列 $ H $ を用いて、ノイズのある保護属性ラベルを補正することで、補正済みの公平性制約の構築を可能にする。
• ノイズ遷移行列 $ (H^ op)^{-1} $ から導出されたノイズ除去公平性制約を組み込んだ制約付き最適化問題（Program DFair）を定式化する。
• 加法的および乗法的公平性制約をサポートし、特に高リスクな応用で一般的な偽発見率のような線形分数型指標に注力する。
• モデル学習にはロジスティック損失関数を用い、VC次元およびラデマッハ複雑度に基づく一般化境界を適用することで、高確率での性能保証を確保する。
• 各属性および各指標ごとにノイズ補正と制約構築プロセスを一般化することで、複数の保護属性および複数の公平性制約に対応する。
• 理論的分析により、ノイズ除去問題からの最適分類器が、弱い仮定のもとで、高確率で実行可能かつ近似的最適であることが示される。

実験結果

リサーチクエスチョン

• RQ1 保護属性が反転ノイズによって損なわれる状況下でも、強力な公平性と精度の保証を維持しつつ、公平な分類器を効果的に学習できるか？
• RQ2 特に非二値および複数の属性が関与する状況下で、制約の実行に用いられる保護属性がノイズを含む場合、公平性制約をどのように補正できるか？
• RQ3 ノイズ除去ベースの最適化フレームワークを用いて、ノイズのある保護属性下で学習された分類器の公平性と精度について、どのような理論的保証を提供できるか？
• RQ4 特に複雑な公平性指標を有する実世界のデータセットにおいて、ノイズレベルが高くなる状況下で、ベースラインと比較してフレームワークの実用的性能はいかがなものか？
• RQ5 本フレームワークは、複数の非二値保護属性にわたり、複数の公平性指標（例：統計的レート、偽陽性率、偽発見率）を同時にサポートできるか？

主な発見

• 保護属性に大規模なノイズが存在しても、統計的レートおよび偽陽性率の面で高い公平性を達成しつつ、精度損失を最小限に抑える。
• 線形分数型指標の一つである偽発見率（false discovery rate）について、本フレームワークは、既存のノイズ耐性を持つ公平な分類アルゴリズムを上回り、より高い公平性と低い精度損失を達成する。
• Adult および COMPAS データセットにおける実験結果から、さまざまなノイズレベルと保護属性タイプにおいて、制約なしおよびベースラインの公平分類器と比較して、本フレームワークは一貫して優れた公平性-精度トレードオフを示す。
• 理論的分析により、一般化されたノイズモデルおよび複数の公平性制約下でも、本フレームワークが出力する分類器が、高確率で実行可能かつ近似的最適であることが確認される。
• 本フレームワークの成功確率は、$ 1 - O(kpe^{-rac{ u^2 au^2 n}{60000M^2} + t ext{ln}(50M/ u au))} $ で有界であり、$ t $ はVC次元である。これにより、ノイズのある条件下でも一般化が保証される。
• 保護属性が非二値（例：COMPASにおける人種）であっても、本フレームワークは有効であり、多様な公平性指標およびノイズ設定において強力な性能を維持する。