[論文レビュー] Marginal Effects for Non-Linear Prediction Functions

Christian A. Scholbeck, Giuseppe Casalicchio+3 more|arXiv (Cornell University)|Jan 21, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、非線形予測関数における特徴量の効果を推定するためのモデルに依存しない解釈可能な手法として、前方微分効果（fMEs）を導入している。微分を直感的な前方差分に置き換えることで、従来の微分に基づく手法に代わるより直感的で解釈可能な手法を提供する。本手法は、単変数fMEを多次元への一般化し、非線形性の尺度を導入するとともに、特徴空間の分割を用いた条件付き平均マージナル効果を提案することで、ブラックボックスモデルにおける従来の平均マージナル効果よりも正確かつ解釈可能な代替手法を提供する。

ABSTRACT

Beta coefficients for linear regression models represent the ideal form of an interpretable feature effect. However, for non-linear models and especially generalized linear models, the estimated coefficients cannot be interpreted as a direct feature effect on the predicted outcome. Hence, marginal effects are typically used as approximations for feature effects, either in the shape of derivatives of the prediction function or forward differences in prediction due to a change in a feature value. While marginal effects are commonly used in many scientific fields, they have not yet been adopted as a model-agnostic interpretation method for machine learning models. This may stem from their inflexibility as a univariate feature effect and their inability to deal with the non-linearities found in black box models. We introduce a new class of marginal effects termed forward marginal effects. We argue to abandon derivatives in favor of better-interpretable forward differences. Furthermore, we generalize marginal effects based on forward differences to multivariate changes in feature values. To account for the non-linearity of prediction functions, we introduce a non-linearity measure for marginal effects. We argue against summarizing feature effects of a non-linear prediction function in a single metric such as the average marginal effect. Instead, we propose to partition the feature space to compute conditional average marginal effects on feature subspaces, which serve as conditional feature effect estimates.

研究の動機と目的

• 従来のマージナル効果が非線形およびブラックボックス型機械学習モデルの解釈において抱える限界を解消すること。
• 特徴量効果推定のための微分に基づくマージナル効果を、より解釈可能な前方差分に置き換えること。
• 単変数マージナル効果を特徴量値の多次元的変化に一般化すること。
• 予測関数の曲率を定量化する非線形性の尺度を導入すること。
• 特徴空間の分割を用いた条件付き平均マージナル効果を提案し、平均マージナル効果のような誤解を招くグローバルな要約を回避すること。

提案手法

• 特徴量（または特徴量の集合）をステップサイズ h だけ増加させたときの予測値の差分として前方微分効果（fMEs）を定義し、微分に基づくマージナル効果に代わる。
• 特徴量の部分集合 S に対してステップサイズのベクトル h_S を用いて、fMEs を多次元的変化に一般化し、結合的特徴量効果の推定を可能にする。
• 特徴空間全体にわたる fMEs の変動に基づく非線形性の尺度を導入し、予測関数の曲率が解釈性に与える影響を捉える。
• グローバルな平均マージナル効果（AME）を、特徴空間の部分空間に分割して計算された条件付き平均マージナル効果に置き換え、データの異なる領域における特徴量効果の不均一性を反映させる。
• fMEs と個々の条件付き期待値（ICE）曲線の差分、および線形性のもとで AME と部分的依存（PD）曲線の差分の理論的同等性を確立する。
• 予測関数の加法的分解を用いて、fMEs が変更された特徴量に依存する項だけを回復することを証明し、解釈性と正確性を保証する。

実験結果

リサーチクエスチョン

• RQ1 非線形予測関数に対して、より直感的で正確なマージナル効果を再定義する方法は何か？
• RQ2 微分を前方差分に置き換えることで、特徴量効果推定にどのような影響が生じるか？
• RQ3 非線形モデルにおいて、多次元的特徴量効果を意味的に推定する方法は何か？
• RQ4 解釈性の目的において、予測関数の非線形性を効果的に測定する尺度は何か？
• RQ5 グローバルな平均マージナル効果を、異なるデータサブポピュレーションにおける不均一な特徴量効果を反映させるように改善する方法は何か？

主な発見

• 前方微分効果（fMEs）は、ステップサイズ h における実際の予測値の差分を用いることで、微分に基づくマージナル効果よりも直感的で解釈可能な代替手法を提供する。
• fMEs は多次元的特徴量変化に自然に一般化され、微分に依存せずに結合的効果の推定が可能になる。
• 提案された非線形性の尺度は、予測関数が線形からどれほど逸脱しているかを定量化し、従来のマージナル効果が誤解を招く可能性がある領域を特定するのを助ける。
• 特徴空間の部分集合に分割して計算された条件付き平均マージナル効果は、グローバルな平均マージナル効果を上回り、異なるデータ領域における不均一な特徴量効果を捉えることができる。
• fMEs と個々の条件付き期待値（ICE）曲線の差分の理論的同等性が確立され、この手法が確立された解釈性技術と整合していることが検証された。
• fMEs は変更された特徴量に依存する予測関数の項だけを回復するため、この手法は正確かつ解釈可能であることが保証される。