[論文レビュー] Technical Report: A Stratification Approach to Partial Dependence for Codependent Variables

Terence Parr, James Wilson|arXiv (Cornell University)|Jul 15, 2019

Explainable Artificial Intelligence (XAI)被引用数 2

ひとこと要約

本稿では、線形モデルやPD/ICEプロットの限界を克服するため、目的変数を除き、類似したデータポイントを意思決定木に基づく層別化によってグループ化するモデルに依存しない手法StratPDを提案する。この手法は、共変数が存在する状況下でも、正確で頑健かつ高次元の部分的依存推定を実現し、シミュレーションおよび事例研究において最先端の手法を上回る性能を示す。

ABSTRACT

Model interpretability is important to machine learning practitioners, and a key component of interpretation is the characterization of partial dependence of the response variable on any subset of features used in the model. The two most common strategies for assessing partial dependence suffer from a number of critical weaknesses. In the first strategy, linear regression model coefficients describe how a unit change in an explanatory variable changes the response, while holding other variables constant. But, linear regression is inapplicable for high dimensional (p>n) data sets and is often insufficient to capture the relationship between explanatory variables and the response. In the second strategy, Partial Dependence (PD) plots and Individual Conditional Expectation (ICE) plots give biased results for the common situation of codependent variables and they rely on fitted models provided by the user. When the supplied model is a poor choice due to systematic bias or overfitting, PD/ICE plots provide little (if any) useful information. To address these issues, we introduce a new strategy, called StratPD, that does not depend on a user's fitted model, provides accurate results in the presence codependent variables, and is applicable to high dimensional settings. The strategy works by stratifying a data set into groups of observations that are similar, except in the variable of interest, through the use of a decision tree. Any fluctuations of the response variable within a group is likely due to the variable of interest. We apply StratPD to a collection of simulations and case studies to show that StratPD is a fast, reliable, and robust method for assessing partial dependence with clear advantages over state-of-the-art methods.

研究の動機と目的

• 高次元（p > n）かつ非線形な状況下で線形回帰の限界を解消し、部分的依存推定を改善すること。
• 特に変数が共変数を示す場合に顕著なバイアスやモデル依存性を示す伝統的な部分的依存（PD）および個別的条件期待（ICE）プロットの課題を克服すること。
• ユーザーが提供するフィットしたモデルに依存しない手法を構築し、モデルの誤りや過剰適合に対する頑健性を確保すること。
• 意思決定木を用いたデータ駆動型の層別化を活用することで、高次元データにおける信頼性の高い部分的依存分析を可能にすること。
• 既存の部分的依存手法に比べ、明確な利点を示す正確性と頑健性を兼ね備えた、高速でスケーラブルかつ解釈可能な代替手法を提供すること。

提案手法

• 目的変数を除き、すべての特徴量において類似した観測値を含む均質なグループにデータセットを層別化する。
• 各層において、応答変数の変動は主に目的変数に起因し、他の特徴量による交絡を最小限に抑える。
• 目的変数の異なる値における各層内の平均応答を計算することで部分的依存を推定し、そのマージナル効果を明確に分離する。
• 目的変数を除くすべての特徴量に基づいて、意思決定木を用いて特徴空間を再帰的に分割し、各層が研究中の変数を除き内部的に均質であるようにする。
• 木構造を活用することで、局所的な関係を保持し、共変数によるバイアスを低減する層の形成を実現する。
• 本手法はモデルに依存しない。事前にフィットした予測モデルを必要とせず、データそのものに直接作用するため、モデルの誤りや過剰適合に対しても頑健である。

実験結果

リサーチクエスチョン

• RQ1 線形モデルが失敗する高次元データにおいて、モデルに依存しないアプローチが部分的依存推定を改善できるか？
• RQ2 変数が共変数を示す状況下で、StratPDはPDおよびICEプロットと比べてどの程度優れた性能を示すか？
• RQ3 ユーザー指定のモデルに依存しない状況で、StratPDは部分的依存推定のバイアスをどの程度低減できるか？
• RQ4 意思決定木による層別化が、特徴量の依存関係が存在する中で、単一変数のマージナル効果を効果的に分離できるか？
• RQ5 高次元かつ複雑なデータ設定において、StratPDのスケーラビリティと計算効率はどの程度か？

主な発見

• StratPDは共変数が存在する場合でも正確な部分的依存推定を提供し、PDおよびICEプロットに内在するバイアスを回避する。
• 本手法は、ユーザーが提供するフィットしたモデルに依存しないため、モデルの誤りや過剰適合に対しても頑健である。
• StratPDは高次元データ（p > n）にも適用可能であり、線形回帰ベースの手法の主な限界を克服する。
• シミュレーションおよび事例研究により、StratPDが高速で信頼性が高く、正確性と頑健性の面で最先端の手法を一貫して上回ることが示された。
• 層別化プロセスにより、他の特徴量による交絡が効果的に低減され、各層内で目的変数の真のマージナル効果が明確に分離された。
• 意思決定木による層別化により、局所的なデータ構造に基づいて層が形成されるため、非線形関係の複雑な状況にも柔軟に適応できる。