[논문 리뷰] Marginal Effects for Non-Linear Prediction Functions

Christian A. Scholbeck, Giuseppe Casalicchio외 3명|arXiv (Cornell University)|2022. 01. 21.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 비선형 예측 함수에서 특성 효과를 추정하기 위한 모델 독립적이고 해석 가능한 방법으로 전진 경계 효과(fMEs)를 도입한다. 도함수를 대체하여 직관적인 전진 차분을 사용한다. 이는 단변량 fME를 多변량 변화로 일반화하고, 비선형성 측도를 도입하며, 특성 공간 분할을 통한 조건부 평균 경계 효과를 제안함으로써, 흑상자 모델에 대한 기존 평균 경계 효과보다 더 정확하고 해석 가능한 대안을 제공한다.

ABSTRACT

Beta coefficients for linear regression models represent the ideal form of an interpretable feature effect. However, for non-linear models and especially generalized linear models, the estimated coefficients cannot be interpreted as a direct feature effect on the predicted outcome. Hence, marginal effects are typically used as approximations for feature effects, either in the shape of derivatives of the prediction function or forward differences in prediction due to a change in a feature value. While marginal effects are commonly used in many scientific fields, they have not yet been adopted as a model-agnostic interpretation method for machine learning models. This may stem from their inflexibility as a univariate feature effect and their inability to deal with the non-linearities found in black box models. We introduce a new class of marginal effects termed forward marginal effects. We argue to abandon derivatives in favor of better-interpretable forward differences. Furthermore, we generalize marginal effects based on forward differences to multivariate changes in feature values. To account for the non-linearity of prediction functions, we introduce a non-linearity measure for marginal effects. We argue against summarizing feature effects of a non-linear prediction function in a single metric such as the average marginal effect. Instead, we propose to partition the feature space to compute conditional average marginal effects on feature subspaces, which serve as conditional feature effect estimates.

연구 동기 및 목표

• 기존의 경계 효과가 비선형 및 흑상자 기계학습 모델을 해석하는 데 한계를 가진다는 문제를 해결하기 위해.
• 특성 효과 추정을 위해 도함수 기반 경계 효과를 더 해석 가능한 전진 차분으로 대체하기 위해.
• 단변량 경계 효과를 특성 값의 다변량 변화로 일반화하기 위해.
• 예측 함수의 곡률을 측정하는 비선형성 측도를 도입하기 위해.
• 전역 평균 경계 효과(AME)와 같은 오해를 불러일으킬 수 있는 전역 요약을 피하기 위해 특성 공간 분할을 통한 조건부 평균 경계 효과를 제안하기 위해.

제안 방법

• 특성(또는 특성 집합)을 단위 크기 h만큼 증가시켰을 때의 예측 차이로 도함수 기반 경계 효과를 대체하는 전진 경계 효과(fMEs)를 제안한다.
• 특성 집합 S에 대해 단위 크기 벡터 h_S를 사용하여 fMEs를 다변량 변화로 일반화함으로써, 도함수에 의존하지 않고 공동 특성 효과를 추정할 수 있도록 한다.
• 특성 공간 전역에서 fMEs의 변동성을 기반으로 한 비선형성 측도를 도입하여, 예측 함수의 곡률이 해석 가능성에 미치는 영향을 캡처한다.
• 전역 평균 경계 효과(AME)를 특성 공간의 부분공간에 대한 분할 기반으로 계산된 조건부 평균 경계 효과로 대체하여, 다양한 데이터 하위집단에서의 이질적인 특성 효과를 반영한다.
• fMEs와 개별 조건부 기대값(ICE) 곡선의 차이 사이, 그리고 선형성 하에서 AME와 부분 의존도(PD) 곡선의 차이 사이에 이론적 동치성을 확립한다.
• 예측 함수의 가감성 분해를 사용하여 fMEs가 변화한 특성에 의존하는 항들만 복원함을 증명함으로써, 방법의 정확성과 해석 가능성 보장을 확보한다.

실험 결과

연구 질문

• RQ1 비선형 예측 함수에 대해 더 직관적이고 정확한 경계 효과를 어떻게 재정의할 수 있는가?
• RQ2 특성 효과 추정에서 도함수를 전진 차분으로 대체할 경우 어떤 영향을 미치는가?
• RQ3 비선형 모델에서 다변량 특성 효과를 어떻게 의미 있게 추정할 수 있는가?
• RQ4 해석 목적을 위해 예측 함수의 비선형성에 효과적인 측도는 무엇인가?
• RQ5 다양한 데이터 하위집단에서의 이질적인 특성 효과를 반영하기 위해 전역 평균 경계 효과는 어떻게 개선될 수 있는가?

주요 결과

• 전진 경계 효과(fMEs)는 단위 크기 h에 대한 실제 예측 차이를 사용함으로써 도함수 기반 경계 효과보다 더 직관적이고 해석 가능한 대안을 제공한다.
• fMEs는 다변량 특성 변화로 자연스럽게 일반화되어 도함수에 의존하지 않고도 공동 효과를 추정할 수 있다.
• 제안된 비선형성 측도는 예측 함수가 선형에서 얼마나 벗어나는지를 정량화하여, 기존 경계 효과가 오해를 불러일으킬 수 있는 영역를 식별하는 데 도움을 준다.
• 특성 공간의 분할된 부분공간에서 계산된 조건부 평균 경계 효과는 전역 평균 경계 효과보다 이질적인 특성 효과를 다양한 데이터 영역에서 더 잘 반영하여 성능이 뛰어나다.
• fMEs와 개별 조건부 기대값(ICE) 곡선의 차이 사이에 이론적 동치성이 확립되어, 방법이 기존의 해석 기법과 일관성을 유지함을 검증한다.
• fMEs는 변화한 특성에 의존하는 예측 함수의 항들만 복원하므로, 이 방법이 정확하고 해석 가능한 것을 보장한다.