[論文レビュー] A Stratification Approach to Partial Dependence for Codependent Variables

Terence Parr, James Wilson|arXiv (Cornell University)|Jul 15, 2019

Mental Health Research Topics被引用数 3

ひとこと要約

本稿では、未知の回帰関数の部分微分を事前に機械学習モデルをフィットさせることなく近似することで、訓練データから直接部分従属曲線を計算するモデルフリー手法であるStratPDおよびCatStratPDを提案する。従来の手法（FPD、ALE、SHAP）に起因するバイアスを回避し、合成データおよび実データにおいて正確な推定を示し、共変化する変数の解釈に向けた新しい非パラメトリックな研究分野を切り開く。

ABSTRACT

Partial dependence curves (FPD) introduced by Friedman, are an important model interpretation tool, but are often not accessible to business analysts and scientists who typically lack the skills to choose, tune, and assess machine learning models. It is also common for the same partial dependence algorithm on the same data to give meaningfully different curves for different models, which calls into question their precision. Expertise is required to distinguish between model artifacts and true relationships in the data. In this paper, we contribute methods for computing partial dependence curves, for both numerical (StratPD) and categorical explanatory variables (CatStratPD), that work directly from training data rather than predictions of a model. Our methods provide a direct estimate of partial dependence, and rely on approximating the partial derivative of an unknown regression function without first fitting a model and then approximating its partial derivative. We investigate settings where contemporary partial dependence methods---including FPD, ALE, and SHAP methods---give biased results. Furthermore, we demonstrate that our approach works correctly on synthetic and plausibly on real data sets. Our goal is not to argue that model-based techniques are not useful. Rather, we hope to open a new line of inquiry into nonparametric partial dependence.

研究の動機と目的

• モデル選択、チューニング、評価の必要性により、非専門家アナリストが部分従属法にアクセスしにくくなっているという問題に対処すること。
• 同じデータに同じ部分従属曲線を適用しても、異なるモデルで結果が大きく異なるという一貫性の欠如を解消すること。
• 機械学習モデルの予測に依存せずに、訓練データから直接部分従属を推定する非パラメトリックなアプローチを開発すること。
• FPD、ALE、SHAPなどの従来手法が誤った結果を生じる可能性がある状況において、部分従属推定のバイアスを低減すること。
• より強固で解釈性の高い非パラメトリックな部分従属の新しい研究分野の基盤を提供すること。

提案手法

• StratPDは、数値の説明変数を層別化し、各層内での局所平均を計算することで、回帰関数の部分微分を近似する。
• CatStratPDは、各カテゴリを層として扱い、同様の局所推定をカテゴリカル変数に拡張する。
• 機械学習モデルを事前にフィットさせず、訓練データにおける入力変数と出力変数の同時分布から直接部分従属関数を推定する。
• 層間の条件付き期待値の差分を用いた非パラメトリックな部分微分の近似に依存し、モデル仮定への依存を最小限に抑える。
• 誤ったモデルによる予測に依存しないため、モデルのアーティファクトに対して頑健である。
• データ駆動型のビンニングまたはグループ化戦略を用いて層を定義し、得られる曲線の安定性と解釈可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 FPD、ALE、SHAPなどの従来の部分従属手法が、モデル依存性や潜在関数に関する仮定の下で、どのような状況でバイアスや一貫性の欠如を生じるのか。
• RQ2 機械学習モデルを事前にフィットさせずに、訓練データのみを用いて部分従属を正確に推定できるか。
• RQ3 異なるデータ生成プロセスにおいて、提案手法のStratPDおよびCatStratPDは、モデルベースの手法と比較してバイアスと一貫性にどのように差が現れるか。
• RQ4 変数の共変化が、標準的な部分従属曲線の信頼性に与える影響は何か。また、提案手法はその影響をどのように軽減するか。
• RQ5 非パラメトリックでモデルフリーな部分従属のアプローチは、実務家にとってより強固で解釈性の高い代替手段を提供できるか。

主な発見

• 提案手法のStratPDおよびCatStratPDは、同じデータに適用しても異なるモデル間で一貫した部分従属推定を示すが、モデルベースの手法とは異なり、顕著な差が生じる。
• FPD、ALE、SHAPが誤ったまたは一貫性のない曲線を生成する状況、特に共変化する変数が存在する場合に、バイアスが著しく低減されている。
• 真の部分従属関数が既知の合成データセットにおいて、提案手法は既存のモデルベースの代替手法よりも真の関数をより正確に回復する。
• モデルのフィットを必要とせず、訓練データから直接部分従属を推定できるため、モデル由来のアーティファクトのリスクが低減される。
• 実世界のデータに対しても有望な結果を示しており、合成ベンチマークを越えた実用的応用の可能性を示唆している。
• 非パラメトリックでモデルフリーな部分従属推定が実現可能であり、現在のモデル依存型手法よりも信頼性が高い可能性があることが明らかになった。