[論文レビュー] Predictive Multiplicity in Classification

Charles T. Marx, Flávio P. Calmon+1 more|arXiv (Cornell University)|Sep 14, 2019

Bayesian Modeling and Causal Inference参考文献 52被引用数 34

ひとこと要約

本論文は分類における予測的多重性を定義し、曖昧さとずれの指標を導入し、線形分類器のためにそれらを正確に計算する整数プログラミングツールを開発する。これにより、再犯予測データセットにおける多重性が顕著であることが明らかになる。

ABSTRACT

Prediction problems often admit competing models that perform almost equally well. This effect challenges key assumptions in machine learning when competing models assign conflicting predictions. In this paper, we define predictive multiplicity as the ability of a prediction problem to admit competing models with conflicting predictions. We introduce formal measures to evaluate the severity of predictive multiplicity and develop integer programming tools to compute them exactly for linear classification problems. We apply our tools to measure predictive multiplicity in recidivism prediction problems. Our results show that real-world datasets may admit competing models that assign wildly conflicting predictions, and motivate the need to measure and report predictive multiplicity in model development.

研究の動機と目的

• 予測的多重性を定義し、分類タスクにおけるその実践的な重要性を動機づける。
• 多重性を定量化するための正式な測度（曖昧さとずれ）を導入する。
• 線形分類器に対してこれらの測度を正確に計算する整数計画法の手法を開発する。
• 再犯予測データセット（例：COMPAS）における予測的多重性を実証的に評価する。

提案手法

• ベースライン分類器の周囲にepsilonレベル集合を定義し、ほぼ最適なモデルを捉える。
• epsilon制約の下でベースラインとの最大の不一致（discrepancy）を計算するDiscMIPを定式化する。
• 複数のepsilon値に渡るdiscrepancyを効率的に計算するパスアルゴリズムを開発する。
• 曖昧さのために特定のデータ点の予測を反転させる分類器を構築するFlipMIPを定式化する。
• 混合整数計画ソルバーを用いて、多重性測度の厳密解または境界付き解を得る。

実験結果

リサーチクエスチョン

• RQ1 2値分類に対して予測的多重性を正式にはどう定義できるか。
• RQ2 曖昧さとずれを通じて多重性の重大さをどのように定量化できるか。
• RQ3 最適化技術を用いて線形分類器についてこれらの測度を正確に計算できるか。
• RQ4 実世界データセット（例：再犯予測）における予測的多重性の程度はどの程度か。
• RQ5 多重性測度はベースラインモデルの精度や導入決定とどのように関連するか。

主な発見

• ほぼ同等の精度を持つ対立モデルは、同じデータに対して高く矛盾する予測を割り当てることがある。
• ProPublica COMPASデータセットでは、最良モデルより1%精度が低い対立モデルが、個人の予測の17%以上に矛盾した予測を割り当てる可能性があり、個人の予測の44%がモデル選択の影響を受ける。