[論文レビュー] Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models

Daniel W. Apley, Jingyu Zhu|arXiv (Cornell University)|Dec 27, 2016

Data Analysis with R参考文献 13被引用数 259

ひとこと要約

累積局所効果（ALE）プロットを導入し、ブラックボックスモデルにおける予測子の効果を可視化する。PDプロットの外挿問題とMプロットのバイアスに対処し、計算コストを低減し、RパッケージALEPlotが利用可能である。

ABSTRACT

When fitting black box supervised learning models (e.g., complex trees, neural networks, boosted trees, random forests, nearest neighbors, local kernel-weighted methods, etc.), visualizing the main effects of the individual predictor variables and their low-order interaction effects is often important, and partial dependence (PD) plots are the most popular approach for accomplishing this. However, PD plots involve a serious pitfall if the predictor variables are far from independent, which is quite common with large observational data sets. Namely, PD plots require extrapolation of the response at predictor values that are far outside the multivariate envelope of the training data, which can render the PD plots unreliable. Although marginal plots (M plots) do not require such extrapolation, they produce substantially biased and misleading results when the predictors are dependent, analogous to the omitted variable bias in regression. We present a new visualization approach that we term accumulated local effects (ALE) plots, which inherits the desirable characteristics of PD and M plots, without inheriting their preceding shortcomings. Like M plots, ALE plots do not require extrapolation; and like PD plots, they are not biased by the omitted variable phenomenon. Moreover, ALE plots are far less computationally expensive than PD plots.

研究の動機と目的

• ブラックボックスモデルにおける主効果と低次の相互作用を可視化する必要性を動機づける。
• 予測子が依存している場合や独立性から遠い場合に、部分依存（PD）および限界（M）プロットの限界を特定する。
• 外挿やバイアスを避けつつ、計算効率を維持する accumulated local effects (ALE) plots を提案する。
• 理論的性質、実用的定義、および実装の道筋（Rパッケージ ALEPlot）を提供する。

提案手法

• accumulated local effects (ALE) を予測子の効果の可視化として定義する。
• ALE plots が訓練データの包絡線を超える外挿を必要としないことを示す。
• PD plots に固有の省略変数問題によるバイアスが ALE plots によって生じないことを示す。
• ALE plots の計算コストを PD plots と比較し、著しい効率向上を示す。
• 更新版には、洗練された ALE の定義、図示的な例、漸近的性質を参照している。
• Rパッケージ ALEPlot による実装の詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 ALE plots は訓練データの包絡線の外に外挿することなく、予測子の効果を正確に反映できますか？
• RQ2 ALE plots は、予測子が依存している場合に PD plots に影響する省略変数のバイアスを回避しますか？
• RQ3 典型的なブラックボックスモデルにおいて、ALE plots は部分依存プロットより計算効率が高いですか？
• RQ4 ALE 効果と推定量の漸近的性質と実用的定義は何ですか？
• RQ5 提案手法は、図示的な例や実データの状況でどのように機能しますか？

主な発見

• ALE plots は PD および M plots の有利な点を受け継ぐが、外挿の回避とバイアスの低減という主要な欠点を持たない。
• 予測子が依存している場合、PD plots に影響する省略変数問題によるバイアスを ALE plots は受けない。
• ALE plots は PD plots より著しく計算効率が高い。
• CRAN で入手可能な R パッケージ ALEPlot によりこれらのプロットを実装でき、更新版では定義と理論的性質が洗練された。