[논문 리뷰] Model-agnostic Feature Importance and Effects with Dependent Features -- A Conditional Subgroup Approach

Christoph Molnar, Gunnar König외 2명|arXiv (Cornell University)|2020. 06. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 37인용 수 14

한 줄 요약

이 논문은 결정 트리에서 유도된 조건부 하위군을 사용하여 기능 상호의존성 하에서 기능 중요도와 영향을 추정하는 모델에 종속되지 않는 접근법을 제안한다. 해석 가능한 하위군 내에서 순열 기반 중요도와 부분 의존도를 적용함으로써, 외삽을 방지하고 인간이 이해할 수 있으며 국소적으로 타당한 기능 영향과 중요도의 해석을 가능하게 하며, 기능 상호의존성이 있는 환경에서 기존의 코보크스와 ALE와 같은 방법들을 능가한다.

ABSTRACT

The interpretation of feature importance in machine learning models is challenging when features are dependent. Permutation feature importance (PFI) ignores such dependencies, which can cause misleading interpretations due to extrapolation. A possible remedy is more advanced conditional PFI approaches that enable the assessment of feature importance conditional on all other features. Due to this shift in perspective and in order to enable correct interpretations, it is therefore important that the conditioning is transparent and humanly comprehensible. In this paper, we propose a new sampling mechanism for the conditional distribution based on permutations in conditional subgroups. As these subgroups are constructed using decision trees (transformation trees), the conditioning becomes inherently interpretable. This not only provides a simple and effective estimator of conditional PFI, but also local PFI estimates within the subgroups. In addition, we apply the conditional subgroups approach to partial dependence plots (PDP), a popular method for describing feature effects that can also suffer from extrapolation when features are dependent and interactions are present in the model. We show that PFI and PDP based on conditional subgroups often outperform methods such as conditional PFI based on knockoffs, or accumulated local effect plots. Furthermore, our approach allows for a more fine-grained interpretation of feature effects and importance within the conditional subgroups.

연구 동기 및 목표

• 기능이 상호의존할 경우 순열 기반 기능 중요도(PFI)와 부분 의존도 플롯(PDP)에서 오해의 소지가 있는 해석이 발생하는 문제를 해결하기 위해.
• 외삽을 피하기 위해 투명하고 인간이 이해할 수 있는 방식으로 관련 기능 의존성을 조건화하는 방법을 개발하기 위해.
• 기능 상호작용과 의존성을 고려하여 글로벌 및 로컬 기능 중요도와 영향을 추정하는 프레임워크를 제공하기 위해.
• 코보크스와 ALE와 같은 기존의 조건부 PFI 및 PDP 방법을 향상시키기 위해 해석 가능한 하위군 기반의 해석을 가능하게 하기 위해.

제안 방법

• 해당 방법은 관심 기능을 예측하도록 훈련된 결정 트리를 사용하여 기능 공간의 해석 가능한 분할인 조건부 하위군을 구성한다.
• 각 하위군 내에서 국소적 타당성을 보장하기 위해 마진형 변형을 사용하여 순열 기반 기능 중요도(PFI)와 부분 의존도 플롯(PDP)을 계산한다.
• 하위군 내 순열을 사용하여 조건부 PFI와 PDP를 추정함으로써 연합 기능 분포를 유지하고 외삽을 방지한다.
• 하위군 구조는 변환 트리에서 유도되어 조건화가 투명하고 해석 가능하다.
• 이 방법은 각 하위군 내에서 국소 PFI와 PDP 추정치를 제공하여 기능 영향의 세밀하고 맥락 기반의 해석을 가능하게 한다.
• 이 프레임워크는 다양한 결정 트리 알고리즘과 분할 규칙을 사용할 수 있어 탄력적이며, 수치형 및 범주형 기능 모두를 지원한다.

실험 결과

연구 질문

• RQ1 기능 상호의존성을 고려하면서도 밀도가 낮은 영역으로의 외삽을 피할 수 있는 방식으로 순열 기반 기능 중요도를 어떻게 추정할 수 있는가?
• RQ2 기능이 상호의존할 경우 정확하고 해석 가능한 조건부 부분 의존도 플롯을 어떻게 구성할 수 있는가?
• RQ3 기능 의존성에 의해 정의된 하위군 간에 국소 기능 중요도와 영향 추정치는 어떻게 달라지는가?
• RQ4 제안된 조건부 하위군 접근법이 코보크스와 ALE와 같은 기존 방법보다 해석 가능성과 정확성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 하위군 기반 방법이 실패하는 상황는 언제이며, 다중 의존성이 있는 기능에 대해서는 어떻게 보완하거나 적응시킬 수 있는가?

주요 결과

• 기능이 상호의존적인 환경에서 제안된 조건부 하위군 PFI(cs-PFI) 및 PDP(cs-PDP) 방법은 표준 PFI, ALE, 코보크스 기반 방법보다 뛰어나며, 특히 오해의 소지가 있는 외삽을 방지하는 데 성공한다.
• 자전거 대여 데이터셋에서 cs-PDP는 습도가 높은 여름 날씨에서는 기온이 자전거 대여에 영향을 주지 않는다는 것을 드러내었으며, 이는 마진형 PDP와 ALE가 놓친 미세한 차이점이다.
• 건조한 여름 날씨에서는 cs-PDP가 기온에 약간의 부정적 영향을 보여주었으며, 이는 방법이 맥락 기반 기능 행동을 포착할 수 있음을 보여준다.
• 기온에 조건화된 cs-PDP는 여름과 겨울의 자전거 대여 수요 차이가 마진형 PDP가 드러내지 못한 바와 같이 저온대에서 훨씬 더 크다는 것을 보여주었다.
• 이 방법은 상관된 기능들의 영향을 효과적으로 분리해 냈으며, 예를 들어 조건부 PDP에서 나타난 양의 기능 효과가 진정한 인과 효과가 아니라 다른 기능과의 상관관계 때문임을 정확히 식별했다.
• 이 방법은 관심 기능이 소수의 다른 기능에 의존할 경우에 가장 효과적이며, 다중 의존성이 존재할 경우 성능이 저하되므로 사전 처리나 대체 보간 전략이 필요하다.