[論文レビュー] All Models are Wrong, but Many are Useful: Learning a Variable's Importance by Studying an Entire Class of Prediction Models Simultaneously

Aaron Fisher, Cynthia Rudin+1 more|arXiv (Cornell University)|Jan 4, 2018

Explainable Artificial Intelligence (XAI)参考文献 66被引用数 1,156

ひとこと要約

本論文は Model Class Reliance (MCR) と Model Reliance (MR) を導入し、定義済みクラス内のすべての高性能モデルにおける共変量の使用量を定量化します。単一のモデルではなく、近似最適モデルの全体集合を分析することで Rashomon 効果に対処します。

ABSTRACT

Variable importance (VI) tools describe how much covariates contribute to a prediction model's accuracy. However, important variables for one well-performing model (for example, a linear model $f(\mathbf{x})=\mathbf{x}^{T}β$ with a fixed coefficient vector $β$) may be unimportant for another model. In this paper, we propose model class reliance (MCR) as the range of VI values across all well-performing model in a prespecified class. Thus, MCR gives a more comprehensive description of importance by accounting for the fact that many prediction models, possibly of different parametric forms, may fit the data well. In the process of deriving MCR, we show several informative results for permutation-based VI estimates, based on the VI measures used in Random Forests. Specifically, we derive connections between permutation importance estimates for a single prediction model, U-statistics, conditional variable importance, conditional causal effects, and linear model coefficients. We then give probabilistic bounds for MCR, using a novel, generalizable technique. We apply MCR to a public data set of Broward County criminal records to study the reliance of recidivism prediction models on sex and race. In this application, MCR can be used to help inform VI for unknown, proprietary models.

研究の動機と目的

• Rashomon 効果を動機づける：複数の適合度の高いモデルが予測のために異なる共変量に依存する可能性がある。
• 1つのモデルが共変量にどれだけ依存しているかを、置換ベースのloss-switchingアプローチを用いて測る MR を定義する。
• 事前に定義されたクラス内のすべての高性能モデルにおける MR の値の範囲として MCR を拡張する。
• データから MCR を推定するための有限標本界と実践的な計算手法を開発する。
• 公開されている刑事司法データセットに枠組みを適用し、COMPAS スコアにおける人種、性別、またはこれらの代理指標への依存を評価する。

提案手法

• モデルクラス依存性（MCR）を、近似最適な予測子の Rashomon セット内の全モデルにおけるモデル依存性（MR）の値の範囲として定義する。
• 固定モデルに対する MR を、X1 がスクランブルされた場合の損失と元の損失の比として定義する。
• MR を U-statistics と結びつけ、無偏推定量と漸近性を確立する。
• モデルクラスを含む凸包を生じさせる一般的な最適化手順を通じて経験的な MCR の推定を提供する。
• (正規化された)線形モデルおよびカーネルベースのモデルに対する具体的な実装を提供し、加法モデルや条件付き因果効果との関係を示す。
• 有限標本の境界と、ブートストラップを用いて実務的な信頼区間を形成する方法について論じる。

実験結果

リサーチクエスチョン

• RQ1 高性能なモデルが近似最適な予測精度を達成しつつ、共変量 X1 にどれだけ依存できるか。
• RQ2 Rashomon セット内のすべてのモデルにわたる変数重要性のばらつきをどのように要約できるか。
• RQ3 MR および MCR 推定量の理論的性質（無偏性、漸近性）は何か。
• RQ4 線形法やカーネル法など、一般的なモデルクラスに対して MR/MCR を実際にどのように計算できるか。
• RQ5 MR/MCR が、COMPAS のような企業秘密の予測モデルにおける感受性属性（例：人種、性別）の役割について何を示すか。

主な発見

• MR はスイッチベースの損失を介して個別モデルの X1 への依存度を定量化し、より高い MR は X1 への依存が大きいことを示す。
• MCR は、事前に定義されたクラス内のすべての高性能モデルに対する範囲 [MCR_-, MCR_+] に MR を拡張し、Rashomon 効果を捉える。
• MR 推定量は無偏で、標準条件下で U-statistics として漸近的に正規分布となる；経験的 MCR の境界は意味のある有限標本保証を提供する。
• 一般的な最適化手順は、任意の epsilon（性能許容度）に対して経験的 MCR を下支えする凸包を生み出す。
• Broward County の再犯データへの適用は、人種、性別、およびこれらの代理指標が COMPAS スコアの支配的な予測因子であるとは限らないことを示唆し、企業秘密モデルを精査する上での MCR の有用性を示している。