[論文レビュー] Nonparametric Feature Impact and Importance

Terence Parr, James Wilson+1 more|arXiv (Cornell University)|Jun 8, 2020

Data Analysis with R被引用数 7

ひとこと要約

本稿では、フィットしたモデルに依存せずに、部分従属曲線を用いてデータから直接特徴量の影響と重要性を計算する非パrametric手法を提案する。StratImpactと呼ばれるプロトタイプを導入し、数値特徴量については部分従属曲線の下側面積、カテゴリカル特徴量については平均化された部分従属曲線を用いて特徴量の影響を計算することで、実データセット上でモデルベース手法よりも低い検証誤差を達成する、競争力のある特徴量選択性能を実現した。

ABSTRACT

Practitioners use feature importance to rank and eliminate weak predictors during model development in an effort to simplify models and improve generality. Unfortunately, they also routinely conflate such feature importance measures with feature impact, the isolated effect of an explanatory variable on the response variable. This can lead to real-world consequences when importance is inappropriately interpreted as impact for business or medical insight purposes. The dominant approach for computing importances is through interrogation of a fitted model, which works well for feature selection, but gives distorted measures of feature impact. The same method applied to the same data set can yield different feature importances, depending on the model, leading us to conclude that impact should be computed directly from the data. While there are nonparametric feature selection algorithms, they typically provide feature rankings, rather than measures of impact or importance. They also typically focus on single-variable associations with the response. In this paper, we give mathematical definitions of feature impact and importance, derived from partial dependence curves, that operate directly on the data. To assess quality, we show that features ranked by these definitions are competitive with existing feature selection techniques using three real data sets for predictive tasks.

研究の動機と目的

• 特徴量重要性（モデルベース）と特徴量影響（データベース）の混同が広く見られる現象に対処すること。これは、誤ったビジネス的・医療的意思決定を引き起こす可能性がある。
• あらゆるフィットしたモデルに依存しない、データから直接特徴量影響を計算する手法を開発すること。これにより、モデルの仮定に起因する歪みを回避できる。
• モデル選択やハイパーパramータチューニングに熟練を要しない非エキスパート（例：ビジネスアナリスト）が利用可能な実用的でアクセスしやすいツールを提供すること。
• モデルフリーな特徴量影響推定が、予測性能において確立されたモデルベース手法と同等の特徴量ランク付けを達成できることを示すこと。
• 単なるランク付けを超えて、解釈可能で定量的な影響値を提供することで、非パラメトリックな特徴量選択を拡張すること。

提案手法

• 数値特徴量については、理想の部分従属曲線（PD）の下側面積として特徴量影響を数学的に定義。カテゴリカル特徴量については、平均化されたPDを用いる。
• 特徴量と応答変数の同時分布を保持するように、層別抽出を用いて部分従属曲線を非パラメトリックに推定。
• 特徴量重要性を、特徴量の周辺分布から導出される重み付き部分従属曲線の積分として計算。
• 実世界のデータ上で、部分従属曲線を効率的かつ正確に推定するためのStratPDおよびCatStratPDアルゴリズムを用いる。
• モデル予測やハイパーパramータチューニングを必要とせず、特徴量影響を計算するPythonでのプロトタイプツール、StratImpactを実装。
• パフォーマンスが重要な部分を最適化するため、Numba JITコンパイルを採用。これにより、PythonのGIL制限にもかかわらず実行時間を改善した。

実験結果

リサーチクエスチョン

• RQ1 フィットしたモデルからの予測に依存せずに、特徴量影響を意味的に定義し、計算することは可能か？
• RQ2 非パラメトリックでデータ駆動型の特徴量影響アプローチは、予測性能においてモデルベース手法と同等の特徴量重要性ランク付けを達成できるか？
• RQ3 SHAP、パーミュテーション重要性、スピアマンの順位相関係数といった既存手法と比較して、モデルフリーな特徴量影響推定は、最も予測力の高い特徴量を特定する上でどのように差がつくか？
• RQ4 モデルフリーな手法が、モデル固有の歪みではなく、真のデータ関係を反映する解釈可能で定量的な影響値を提供できるか？
• RQ5 実際の応用において、非パラメトリックでモデルフリーな特徴量影響アプローチの計算的トレードオフは何か？

主な発見

• StratImpactの特徴量影響ランク付けは、実データセット（Kaggle）において、モデルベース手法が選択した上位特徴量の検証誤差の半分まで低下させ、優れた予測性能を示した。
• 数値特徴量ではPDの下側面積、カテゴリカル特徴量では平均化されたPDを用いることで、異なるデータタイプに対して安定した推定が可能だった。
• モデル予測を一切使用しないにもかかわらず、StratImpactの特徴量ランク付けは、パーミュテーション重要性、SHAP、スピアマンの順位相関係数と同等の性能を示し、特に上位8つの特徴量において顕著だった。
• プロトタイプは実用的な実行時間性能を示し、カテゴリカル変数を含まないデータセットでは線形スケーリング、含むデータセットでは2次スケーリングを示した。これにより、数万件のサンプルに対しても実行可能だった。
• Numba JITコンパイルによりホットスポットのパフォーマンスが向上したが、PythonのGIL制限によりスレッドやマルチプロセッシングによる並列化による向上は限定的だった。
• 本研究では、スピアマンの順位相関係数やパーミュテーション重要性といった単純で即効性のある手法が、上位特徴量のランク付けにおいて優れた性能を示した。これは、モデルフリーなアプローチが、それらの手法と同等またはそれを上回る精度を達成できることを示唆している。