[논문 리뷰] A Stratification Approach to Partial Dependence for Codependent Variables

Terence Parr, James Wilson|arXiv (Cornell University)|2019. 07. 15.

Mental Health Research Topics인용 수 3

한 줄 요약

이 논문은 기계학습 모델을 먼저 피팅하지 않고도 훈련 데이터에서 직접 부분적 의존도 곡선을 계산하기 위한 모델-무관(model-free) 방법인 StratPD와 CatStratPD를 제안한다. 이는 알려지지 않은 회귀 함수의 국소 미분계수를 먼저 모델을 통해 추정하지 않고도 근사함으로써, FPD, ALE, SHAP와 같은 기존 방법에서 발생하는 편향을 피한다. 제안된 방법은 시뮬레이션 데이터와 실제 데이터에서 정확한 추정을 보이며, 부분적 의존도 해석을 위한 새로운 비모수적 접근법을 제시한다.

ABSTRACT

Partial dependence curves (FPD) introduced by Friedman, are an important model interpretation tool, but are often not accessible to business analysts and scientists who typically lack the skills to choose, tune, and assess machine learning models. It is also common for the same partial dependence algorithm on the same data to give meaningfully different curves for different models, which calls into question their precision. Expertise is required to distinguish between model artifacts and true relationships in the data. In this paper, we contribute methods for computing partial dependence curves, for both numerical (StratPD) and categorical explanatory variables (CatStratPD), that work directly from training data rather than predictions of a model. Our methods provide a direct estimate of partial dependence, and rely on approximating the partial derivative of an unknown regression function without first fitting a model and then approximating its partial derivative. We investigate settings where contemporary partial dependence methods---including FPD, ALE, and SHAP methods---give biased results. Furthermore, we demonstrate that our approach works correctly on synthetic and plausibly on real data sets. Our goal is not to argue that model-based techniques are not useful. Rather, we hope to open a new line of inquiry into nonparametric partial dependence.

연구 동기 및 목표

• 모델 선택, 튜닝, 평가가 필요로 하여 비전문 분석가가 부분적 의존도 방법을 접근하기 어려운 문제를 해결하기 위해.
• 동일한 데이터에 적용했을 때 다양한 모델 간에 부분적 의존도 곡선에 일관성 없음을 해결하기 위해, 이는 정밀도와 해석 가능성에 악영향을 미친다.
• 기계학습 모델 예측에 의존하지 않고 훈련 데이터에서 직접 부분적 의존도를 추정하는 비모수적 접근법을 개발하기 위해.
• FPD, ALE, SHAP와 같은 기존 방법이 잘못된 결과를 낼 수 있는 상황, 특히 편향이 발생하는 경우에 부분적 의존도 추정의 편향을 줄이기 위해.
• 비모수적 부분적 의존도에 대한 새로운 연구 방향을 마련하여, 더 강건하고 해석 가능한 방법을 제공하기 위해.

제안 방법

• StratPD는 수치형 설명 변수를 구간(stratum)으로 나누고, 각 구간 내에서 국소 평균을 계산하여 회귀 함수의 국소 미분계수를 근사함으로써 부분적 의존도를 추정한다.
• CatStratPD는 각 범주를 하나의 구간으로 간주하고, 이에 해당하는 국소 추정치를 계산함으로써 범주형 변수에 대해 이 방법을 확장한다.
• 기계학습 모델을 먼저 피팅하지 않고, 훈련 데이터의 입력 및 출력 변수의 결합 분포에서 직접 부분적 의존도 함수를 추정한다.
• 비모수적 방법으로 구간 간 조건부 기대값의 차이를 이용해 국소 미분계수를 근사함으로써, 모델 가정에 대한 의존도를 최소화한다.
• 모델가 잘못된 가정을 하고 있을 경우 발생할 수 있는 모델 아티팩트에 강건하기 때문에, 잠재적으로 잘못된 모델 예측에 의존하지 않는다.
• 자료 기반의 박스 또는 그룹화 전략을 사용해 구간을 정의함으로써, 결과 곡선의 안정성과 해석 가능성 확보.

실험 결과

연구 질문

• RQ1 FPD, ALE, SHAP와 같은 기존 부분적 의존도 방법이 모델 의존성이나 기저 함수에 대한 가정으로 인해 편향되거나 일관성 없이 작용하는 설정은 무엇인가?
• RQ2 기계학습 모델을 먼저 피팅하지 않고도 훈련 데이터만으로 부분적 의존도를 정확하게 추정할 수 있는가?
• RQ3 다양한 데이터 생성 과정에서 제안된 StratPD와 CatStratPD 방법이 모델 기반 접근법에 비해 편향과 일관성 측면에서 어떻게 비교되는가?
• RQ4 변수 간 상호의존성이 기존 부분적 의존도 곡선의 신뢰성에 어떤 영향을 미치며, 제안된 방법은 이를 어떻게 완화하는가?
• RQ5 비모수적이고 모델-무관인 부분적 의존도 접근법은 실무자에게 더 강건하고 해석 가능한 대안을 제공할 수 있는가?

주요 결과

• 제안된 StratPD와 CatStratPD 방법은 동일한 데이터에 대해 다양한 모델에 적용했을 때도 일관된 부분적 의존도 추정치를 제공하지만, 모델 기반 접근법은 상당한 차이를 보인다.
• FPD, ALE, SHAP가 상호의존 변수가 있는 경우 잘못되거나 일관성 없이 작용하는 상황에서, 제안된 방법은 편향이 감소함을 입증한다.
• 기본적인 관계가 알려진 시뮬레이션 데이터셋에서, 제안된 방법은 기존의 모델 기반 대안들보다 진짜 부분적 의존도 함수를 더 정확히 복원한다.
• 모델 피팅 없이도 훈련 데이터에서 직접 부분적 의존도를 추정함으로써, 모델 유도 아티팩트의 위험을 줄였다.
• 실제 데이터셋에서도 유망한 성능을 보이며, 시뮬레이션 벤치마크를 넘어서 실용적 적용 가능성을 시사한다.
• 비모수적이고 모델-무관인 부분적 의존도 추정이 가능하며, 기존의 모델 의존적 접근법보다 더 신뢰할 수 있을 수 있음을 규명했다.