[論文レビュー] Identifying Significant Predictive Bias in Classifiers

Zhe Zhang, Daniel B. Neill|arXiv (Cornell University)|Nov 24, 2016

Imbalanced Data Classification Techniques参考文献 16被引用数 40

ひとこと要約

本論文は、特徴量のすべての可能な部分集合に対して、確率的二値分類器における統計的に有意な予測バイアスを検出するためのサブセットスキャン手法を提案する。高速スキャンとパラメトリックブートストラップを用いて、指数的増加する部分集合探索を処理する。従来見過ごされていた多次元バイアス（例：COMPASデータにおける若年男性や懲役判決歴のある女性の過剰予測）を同定し、バイアスが単なる人種的差異ではなく、モデルの誤指定から生じることを示している。

ABSTRACT

We present a novel subset scan method to detect if a probabilistic binary classifier has statistically significant bias -- over or under predicting the risk -- for some subgroup, and identify the characteristics of this subgroup. This form of model checking and goodness-of-fit test provides a way to interpretably detect the presence of classifier bias or regions of poor classifier fit. This allows consideration of not just subgroups of a priori interest or small dimensions, but the space of all possible subgroups of features. To address the difficulty of considering these exponentially many possible subgroups, we use subset scan and parametric bootstrap-based methods. Extending this method, we can penalize the complexity of the detected subgroup and also identify subgroups with high classification errors. We demonstrate these methods and find interesting results on the COMPAS crime recidivism and credit delinquency data.

研究の動機と目的

• 事前に定義された人種的グループに限らない、すべての可能な特徴量部分集合において、確率的分類器の統計的に有意な予測バイアスを検出すること。
• 指数的増加する部分集合のスキャンという計算的・統計的課題に対処するため、高速サブセットスキャンとパラメトリックブートストラップを用いること。
• 予測確率と観測確率のオッズの差異を超えて、分類誤差率が高く、予測の過信が顕著な部分集合を同定すること。
• 隠れたバイアスを明らかにする解釈可能でデータ駆動型のモデル診断手法を提供すること。

提案手法

• 指数的増加する特徴量ベースの部分集合のうち、最もバイアスの強い部分集合を効率的に同定するためのサブセットスキャンアプローチを用いる。
• 予測バイアスを、部分集合内での観測結果のオッズと予測オッズの乖離として定義する。
• 多重比較補正を考慮した統計的有意性を推定するために、パラメトリックブートストラップを用いる。
• 過学習を回避するため、より単純で解釈可能な部分集合を優遇するための複雑さペナルティを適用する。
• 分類誤差率が高い部分集合（予測の過信を示す）を同定するように、手法を拡張する。
• 検出された部分集合を保持データでテストすることで、結果の妥当性を検証し、バイアスの方向が一貫していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された人種的グループに限らない、すべての可能な特徴量部分集合において、分類器の統計的に有意な予測バイアスを検出できるか？
• RQ2 計算を完全に網羅しないまま、指数的増加する部分集合を効率的にスキャンする方法は何か？
• RQ3 多重比較を考慮した上で、検出された部分集合のバイアスの統計的有意性は何か？
• RQ4 過剰な予測の自信（過信）によって分類誤差率が高い部分集合を同定できるか？
• RQ5 検出されたバイアスは保持データでも持続するか？ これにより、過学習を超えた堅牢性が示せるか？

主な発見

• COMPASデータでは、元のデシルモデルが、懲役判決歴のある女性で、COMPASスコアが2、3、6、9、10のケースにおいて、著しく再犯を過剰に予測している（p = 0.035）。観測率は0.21、予測率は0.38である。
• 25歳未塔の若年男性は著しく予測不足（p < 0.005）であり、観測再犯率は0.60、予測率は0.50である。
• 5回以上の前科を持つ被告は予測不足（平均予測率0.60、観測率0.72、n=1215）であり、前科ゼロの被告は過剰予測（予測率0.38、観測率0.29、n=2085）である。
• クレジット遅延データでは、利用率が15％を超えるおよび3つの別々の期間に遅延支払いで、過剰に予測されている（観測率0.79、予測率0.90、p < 0.01、n=825）。
• クレジットデータの上位1％リスクの顧客470名中、496名が過剰予測部分集合に属しており、予測値を調整することで上位リスク順位を40％以上低下させられると示唆される。
• 部分集合の複雑さにペナルティを課した後、統計的有意性を維持しながらも、より単純で解釈可能な部分集合（例：2または3の特徴量）が同定され、モデルの解釈性が向上した。