[論文レビュー] Model Class Reliance: Variable Importance Measures for any Machine Learning Model Class, from the "Rashomon" Perspective

Aaron Fisher, Cynthia Rudin+1 more|arXiv (Cornell University)|Jan 4, 2018

Explainable Artificial Intelligence (XAI)被引用数 119

ひとこと要約

本稿では、特定の共変量にどの程度モデルクラス、アルゴリズム、または個々のモデルが依存しているかを、変数の値を交換した際の期待損失の変化を測定することで定量化する、新しい枠組みであるモデルクラス依存度（MCR）を提案する。良好な性能を示すモデルに対する確率的境界と信頼領域を提供し、多様なモデルタイプ間での比較を可能にし、ブロワード郡のデータを用いた再犯予測モデルにおける実世界のデータにおける依存パターンを明らかにする。

ABSTRACT

Variable importance (VI) tools are typically used to examine the inner workings of prediction models. However, many existing VI measures are not comparable across model types, can obscure implicit assumptions about the data generating distribution, or can give seemingly incoherent results when multiple prediction models fit the data well. In this paper we propose a framework of VI measures for describing how much any model class (e.g. all linear models of dimension p), any model-fitting algorithm (e.g. Ridge regression with fixed regularization parameter), or any individual prediction model (e.g. a single linear model with fixed coefficient vector), relies on covariate(s) of interest. The building block of our approach, Model Reliance (MR), compares a prediction model's expected loss with that model's expected loss on a pair of observations in which the value of the covariate of interest has been switched. Expanding on MR, we propose Model Class Reliance (MCR) as the upper and lower bounds on the degree to which any well-performing prediction model within a class may rely on a variable of interest, or set of variables of interest. Thus, MCR describes reliance on a variable while accounting for the fact that many prediction models, possibly of different parametric forms, may fit the data well. We give probabilistic bounds for MR and MCR, leveraging existing results for U-statistics. These bounds can be generalized to create finite-sample confidence regions for the best-performing models from any class. We also illustrate connections between MR, conditional causal effects, and linear regression coefficients. We outline a binary search procedure to compute estimates of MCR. We then apply MR & MCR in a public dataset of Broward County criminal records to study the reliance of recidivism prediction models on sex and race, with code available at https://github.com/aaronjfisher/mcr.

研究の動機と目的

• 線形モデル、木ベースのモデル、ニューラルネットワークなどの異なるモデルクラス間で比較可能な変数重要度（VI）測定の欠如に対処すること。
• データ生成プロセスに関する暗黙の仮定に依存しない、同一クラス内の複数の良好に適合するモデルを考慮する枠組みの開発。
• クラス内での最良の性能を示すモデルに対する確率的境界と有限標本の信頼領域を提供し、VI推定の信頼性を向上させること。
• モデル依存度と条件付き因果効果、線形回帰係数との関連を明らかにすることで、解釈可能性を向上させること。
• バイナリサーチューブの手順を用いた実用的なMCR推定手法の開発と、ブロワード郡の再犯予測など実世界のデータへの応用。

提案手法

• モデル依存度（MR）は、特定の共変量の値を交換したペア観測値における予測の期待損失の差として定義される。
• モデルクラス依存度（MCR）は、指定されたモデルクラス内における良好に適合するすべてのモデルの間で、依存度の上限と下限を計算することでMRを拡張する。
• U統計量理論を活用してMRおよびMCRの確率的境界を導出し、最適モデルの有限標本の信頼領域を可能にする。
• モデルのパラメータ空間や係数ベクトルの探索を効率的に行うために、バイナリサーチューブの手順を提案する。
• 公開済みのブロワード郡の犯罪記録データセットを用いて、再犯予測モデルにおける性別および人種の依存度を分析する。
• GitHub上で公開されたオープンソースコードを用いて実装され、再現性と広範な採用を促進する。

実験結果

リサーチクエスチョン

• RQ1 線形モデルやランダムフォレストなどの異なるモデルクラス間で、変数重要度をどのように意味的に比較できるか。
• RQ2 複数のモデルがデータを同程度に適合する場合、クラス内での良好な性能を示すモデルが特定の共変量（例：人種や性別）にどの程度依存しているか。
• RQ3 MCRが、クラス内での最良の性能を示すモデルの真の依存度に対して、信頼性の高い有限標本の信頼領域を提供できるか。
• RQ4 交絡要因やモデルの誤指定が存在する状況で、モデル依存度は条件付き因果効果や線形回帰係数とどのように関連するか。
• RQ5 MCRは、再犯リスクツールのような実世界の予測システムにおける公平性と解釈可能性について、どのような洞察を提供するか。

主な発見

• MCRは、クラス内での良好に適合するすべてのモデルにおける変数依存度の上限と下限を提供し、単一モデルのVI測定に対する頑健な代替手段を提供する。
• この枠組みにより、線形モデルや木ベースのモデルなどの異なるモデルクラス間での変数重要度の比較が可能になり、共通のパラメトリック形式を仮定しない。
• U統計量理論から導かれた確率的境界により、MCR推定値の周囲に有限標本の信頼領域を設定でき、統計的信頼性が向上する。
• バイナリサーチューブの手順により、MCRの推定が効率的に行えるようになり、高次元設定においても計算が可能になる。
• ブロワード郡の再犯データセットにおいて、MCRは良好に適合するモデル全体で性別および人種への顕著な依存度を明らかにし、公平性上の懸念を浮き彫りにした。
• モデル依存度が条件付き因果効果と関連することにより、標準的なVI指標を越えた解釈可能性の道筋を提供する。