[論文レビュー] Classification with abstention but without disparities

Nicolas Schreuder, Evgenii Chzhen|arXiv (Cornell University)|Feb 24, 2021

Adversarial Robustness in Machine Learning参考文献 37被引用数 5

ひとこと要約

本稿では、ラベルなしデータを用いて、あらゆる市販のスコアベース分類器を、公平性と制御された拒否率を満たす、拒否可能な分類器に変換する後処理アルゴリズムを提案する。有限標本保証を確立し、十分なラベルなしデータが利用可能な場合、初期分類器に依存せずに公平性と拒否を達成できることを示し、リスクと公平性のトレードオフを効果的に回避する。

ABSTRACT

Classification with abstention has gained a lot of attention in recent years as it allows to incorporate human decision-makers in the process. Yet, abstention can potentially amplify disparities and lead to discriminatory predictions. The goal of this work is to build a general purpose classification algorithm, which is able to abstain from prediction, while avoiding disparate impact. We formalize this problem as risk minimization under fairness and abstention constraints for which we derive the form of the optimal classifier. Building on this result, we propose a post-processing classification algorithm, which is able to modify any off-the-shelf score-based classifier using only unlabeled sample. We establish finite sample risk, fairness, and abstention guarantees for the proposed algorithm. In particular, it is shown that fairness and abstention constraints can be achieved independently from the initial classifier as long as sufficiently many unlabeled data is available. The risk guarantee is established in terms of the quality of the initial classifier. Our post-processing scheme reduces to a sparse linear program allowing for an efficient implementation, which we provide. Finally, we validate our method empirically showing that moderate abstention rates allow to bypass the risk-fairness trade-off.

研究の動機と目的

• 二値分類におけるリスクと公平性のトレードオフを解消するために、制御された拒否メカニズムを導入すること。
• 公平分類における拒否を、制約付きリスク最小化問題として形式化すること。
• 任意の事前学習済み分類器を、ラベルなしデータのみを用いて後処理することで、公平性と拒否制約を強制するアルゴリズムを開発すること。
• 十分なラベルなしデータが利用可能な場合、初期分類器の品質に依存しない、リスク、公平性、拒否の有限標本保証を確立すること。
• 実務家が感受性グループごとに拒否率を制御しつつ、公平性を確保し、誤分類リスクを最小限に抑えることを可能にすること。

提案手法

• 最適分類器は、公平性と拒否制約を含む制約付きリスク最小化問題の解として導出され、グループ固有のしきい値を含む閉形式の表現が得られる。
• 後処理ステップは、スラック変数を用いて、公平性と拒否制約の下で誤分類リスクを最小化するスパースな線形計画問題（LP-Primal）として定式化される。
• アルゴリズムは、ラベルなしデータを用いてグループ固有の条件付き確率と拒否しきい値を推定し、グループごとの拒否率を制御可能にする。
• 行列Aとベクトルbを用いた構造化された表現により、線形計画問題をコンactに表現し、ラベルなしサンプル数がグループ数に比べて著しく多い場合にはスパarsityを活用する。
• 本手法は即挿し可能（plug-and-play）であり、再訓練を必要とせず、任意のスコアベース分類器に適用可能で、元のモデルの予測を保持しつつ、公平性と拒否を調整する。
• 十分なラベルなしデータが利用可能な限り、初期分類器の性能に依存せずに、公平性と拒否制約が満たされることを保証する。

実験結果

リサーチクエスチョン

• RQ1 後処理手法は、予測精度を損なわせることなく、二値分類において公平性と制御された拒否を両立できるか？
• RQ2 ラベルなしデータを用いることで、公平性と拒否制約を初期分類器の性能からどれだけ分離できるか？
• RQ3 公平性と拒否を同時に強制する後処理アルゴリズムの有限標本性能保証は何か？
• RQ4 リスク、公平性、拒否率制御の観点から、本手法は既存の手法とどのように比較できるか？
• RQ5 公平性と拒否制約を同時に満たす条件下で、最適な拒否分類器を明示的に特徴づけられるか？

主な発見

• 提案された後処理アルゴリズムは、十分なラベルなしデータが利用可能な場合、初期分類器の品質に依存しない有限標本保証（リスク、公平性、拒否）を達成する。
• 公平性と拒否制約は、十分なラベルなしデータを用いれば、同時に満たされ、初期分類器の性能に依存せずに達成可能である。
• 本手法は、効率的に解けるスパースな線形計画問題に還元され、実用的導入が可能である。
• 実験的評価により、中程度の拒否率では、従来のリスクと公平性のトレードオフを回避できることを示した。
• 最適分類器は、グループ固有の条件付き確率と公平性制約に依存するしきい値ベースのルールとして特徴づけられる。
• アルゴリズムは、グループごとのリスクと拒否率を明示的に制御し、差別の的影響を防止する。