[논문 리뷰] Technical Report: A Stratification Approach to Partial Dependence for Codependent Variables

Terence Parr, James Wilson|arXiv (Cornell University)|2019. 07. 15.

Explainable Artificial Intelligence (XAI)인용 수 2

한 줄 요약

이 논문은 선형 모델과 PD/ICE 그림의 한계를 극복하기 위해 결정트리 기반의 분류를 사용해 관심 변수를 제외한 나머지 변수에서 유사한 데이터 포인트를 그룹화함으로써 부분적 의존도를 추정하는 모델에 종속되지 않는 방법인 StratPD를 제안한다. 종속 변수가 존재하는 상황에서도 정확하고 강건하며 고차원적인 부분적 의존도 추정을 가능하게 하며, 최신 기법들보다 시뮬레이션과 사례 연구에서 뛰어난 성능을 보인다.

ABSTRACT

Model interpretability is important to machine learning practitioners, and a key component of interpretation is the characterization of partial dependence of the response variable on any subset of features used in the model. The two most common strategies for assessing partial dependence suffer from a number of critical weaknesses. In the first strategy, linear regression model coefficients describe how a unit change in an explanatory variable changes the response, while holding other variables constant. But, linear regression is inapplicable for high dimensional (p>n) data sets and is often insufficient to capture the relationship between explanatory variables and the response. In the second strategy, Partial Dependence (PD) plots and Individual Conditional Expectation (ICE) plots give biased results for the common situation of codependent variables and they rely on fitted models provided by the user. When the supplied model is a poor choice due to systematic bias or overfitting, PD/ICE plots provide little (if any) useful information. To address these issues, we introduce a new strategy, called StratPD, that does not depend on a user's fitted model, provides accurate results in the presence codependent variables, and is applicable to high dimensional settings. The strategy works by stratifying a data set into groups of observations that are similar, except in the variable of interest, through the use of a decision tree. Any fluctuations of the response variable within a group is likely due to the variable of interest. We apply StratPD to a collection of simulations and case studies to show that StratPD is a fast, reliable, and robust method for assessing partial dependence with clear advantages over state-of-the-art methods.

연구 동기 및 목표

• 고차원(p > n) 및 비선형 설정에서 선형 회귀의 부분적 의존도 추정에 대한 한계를 해결한다.
• 특히 변수들이 종속되어 있을 경우 발생하는 전통적인 부분의존도(PD) 및 개별 조건 기대값(ICE) 그림의 편향과 모델 의존성 문제를 해결한다.
• 사용자가 제공한 피팅된 모델에 의존하지 않아도 되도록 하여, 모델의 잘못된 선택이나 과적합에 강건한 방법을 개발한다.
• 결정트리를 통한 데이터 기반의 분류를 활용하여 고차원 데이터에서 신뢰할 수 있는 부분적 의존도 분석을 가능하게 한다.
• 정확성과 강건성에서 명확한 이점이 있는 기존 부분적 의존도 기법들에 비해 빠르고 확장 가능하며 해석 가능한 대안을 제공한다.

제안 방법

• 모든 특성에서 관심 변수를 제외한 나머지 특성에서 유사한 관측치들을 포함하는 동질적인 그룹으로 데이터셋을 분류한다.
• 각 군집 내에서 반응 변수의 변동은 주로 관심 변수에 기인하며, 다른 특성에 의한 혼란 요인을 최소화한다.
• 각 군집 내에서 관심 변수의 다양한 값에 대해 평균 반응을 계산함으로써 부분적 의존도를 추정한다. 이는 관심 변수의 경계 효과를 효과적으로 분리한다.
• 관심 변수를 제외한 모든 특성에 기반해 결정트리를 사용해 특성 공간을 반복적으로 분할함으로써, 군집이 관심 변수를 제외한 나머지 특성에서 내부적으로 동질적이도록 보장한다.
• 트리의 구조를 활용해 지역적 관계를 유지하고 종속 변수가 존재할 경우 발생하는 편향을 줄인다.
• 이 방법은 사전에 피팅된 예측 모델이 필요 없이 데이터에 직접 작용하므로 모델에 종속되지 않으며, 모델 오류나 과적합에 강건하다.

실험 결과

연구 질문

• RQ1 선형 모델이 실패하는 고차원 데이터에서 모델에 종속되지 않는 접근 방식이 부분적 의존도 추정 성능을 향상시킬 수 있는가?
• RQ2 변수가 종속되어 있을 경우 StratPD는 PD 및 ICE 그림에 비해 어떻게 성능을 발휘하는가?
• RQ3 사용자가 지정한 모델에 의존하지 않고 부분적 의존도 추정의 편향을 어느 정도 줄일 수 있는가?
• RQ4 결정트리를 통한 분류가 특성 간 종속성이 존재하는 상황에서 단일 변수의 경계 효과를 효과적으로 분리하는 데에 얼마나 효과적인가?
• RQ5 고차원적이고 복잡한 데이터 환경에서 StratPD는 얼마나 확장 가능하고 계산적으로 효율적인가?

주요 결과

• StratPD는 변수들이 종속되어 있을 경우에도 정확한 부분적 의존도 추정을 제공하며, PD 및 ICE 그림에 내재된 편향을 피한다.
• 사용자가 제공한 피팅된 모델에 의존하지 않기 때문에 잘못된 모델 선택에 강건하며, 과적합되거나 잘못 지정된 모델이 존재하더라도 신뢰할 수 있다.
• StratPD는 고차원 데이터(p > n)에 적용 가능하여 선형 회귀 기반 접근 방식의 핵심적 한계를 극복한다.
• 시뮬레이션과 사례 연구를 통해 StratPD가 정확성과 강건성 측면에서 최신 기법들을 일관되게 뛰어넘는다는 것이 입증되었다.
• 분류 과정이 다른 특성에 의한 혼란 요인을 효과적으로 줄여주며, 각 군집 내에서 관심 변수의 진짜 경계 효과를 분리한다.
• 결정트리를 통한 분류를 통해 지역 데이터 구조에 기반한 군집이 형성되어, 복잡한 비선형 관계에 대한 적응성이 향상된다.