[논문 리뷰] Please Stop Permuting Features: An Explanation and Alternatives.

Giles Hooker, Lucas Mentch|arXiv (Cornell University)|2019. 05. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 87

한 줄 요약

이 논문은 흑박모델의 해석을 위한 permute-and-predict (PaP) 방법이 특성 간 의존성을 인위적으로 파괴함으로써 근본적으로 결함이 있으며, 특히 상관된 특성이 존재할 경우 잘못된 해석을 초래한다고 주장한다. 이를 바탕으로 특성 제거, 조건부 순열, 모델 정련과 같은 대안을 제안하여 더 신뢰할 수 있는 모델 해석 메트릭을 제공한다.

ABSTRACT

This paper advocates against permute-and-predict (PaP) methods for interpreting black box functions. Methods such as the variable importance measures proposed for random forests, partial dependence plots, and individual conditional expectation plots remain popular because of their ability to provide model-agnostic measures that depend only on the pre-trained model output. However, numerous studies have found that these tools can produce diagnostics that are highly misleading, particularly when there is strong dependence among features. Rather than simply add to this growing literature by further demonstrating such issues, here we seek to provide an explanation for the observed behavior. In particular, we argue that breaking dependencies between features in hold-out data places undue emphasis on sparse regions of the feature space by forcing the original model to extrapolate to regions where there is little to no data. We explore these effects through various settings where a ground-truth is understood and find support for previous claims in the literature that PaP metrics tend to over-emphasize correlated features both in variable importance and partial dependence plots, even though applying permutation methods to the ground-truth models do not. As an alternative, we recommend more direct approaches that have proven successful in other settings: explicitly removing features, conditional permutations, or model distillation methods.

연구 동기 및 목표

• 특성 간 의존성이 존재할 경우 permute-and-predict (PaP) 방법이 왜 오해를 불러일으키는지 설명하기.
• PaP 방법이 기저 모델에 적용되더라도 상관된 특성의 중요도 및 부분적 의존도 플롯에서 이를 과도하게 강조함을 입증하기.
• 기존 문제점이 알려져 있음에도 불구하고 널리 사용되는 PaP 방법의 문제를 근본 원인 분석을 통해 도전하기.
• 특성 제거, 조건부 순열, 모델 정련과 같은 더 신뢰할 수 있는 직접적 해석 방법을 홍보하기.
• 기본 행동이 알려진 제어된 환경에서의 경험적 증거를 제공하여 PaP 방법이 실패하고 대안은 성공하는 것을 보여주기.

제안 방법

• 보류 데이터에서 자연스러운 특성 간 의존성을 파괴함으로써 특성 순열이 모델 외삽에 미치는 영향을 분석한다.
• 기본 행동이 알려진 제어 실험을 통해 PaP 진단에 특성 의존성의 영향을 고립시킨다.
• 특성 제거 및 조건부 순열과 같은 대안 방법과 비교하여 PaP 기반 메트릭(예: 변수 중요도, 부분적 의존도)을 평가한다.
• 특성 간 의존성을 유지하는 보조 모델을 훈련하기 위해 모델 정련을 활용하여 더 충실한 해석을 가능하게 한다.
• 예측된 변수 중요도 및 부분적 의존도 경향을 진정된 기반 모델 행동과 비교하여 해석 품질을 평가한다.
• PaP 방법이 외삽을 유도하는 특성 공간의 희박한 영역에서 특히 왜곡된 출력을 초래하는 데 집중한다.

실험 결과

연구 질문

• RQ1 왜 특성이 의존할 경우 permute-and-predict 방법이 잘못된 해석을 초래하는가?
• RQ2 순열 과정에서 특성 간 의존성이 깨지면 어떻게 하여 상관된 특성의 중요도 및 부분적 의존도 플롯에서 과도하게 강조되는가?
• RQ3 기본 행동이 알려진 제어 환경에서, 진짜 모델에 적용되더라도 PaP 방법이 얼마나 실패하는가?
• RQ4 조건부 순열이나 모델 정련과 같은 대안 방법이 더 정확하고 신뢰할 수 있는 모델 해석을 제공할 수 있는가?
• RQ5 특성 제거 및 모델 정련은 PaP 방법과 비교하여 데이터 내 진정된 기능적 관계를 얼마나 잘 유지하는가?

주요 결과

• PaP 방법은 특성 공간의 희박한 영역으로의 강제 외삽으로 인해 변수 중요도 및 부분적 의존도 플롯에서 상관된 특성을 과도하게 강조한다.
• 기본 모델에 동일한 PaP 방법을 적용하더라도 여전히 잘못된 결과를 도출함으로써, 이 결함은 방법 자체에 내재되어 있으며 모델 특이적 오류가 아님을 시사한다.
• 순열 과정에서 특성 간 의존성을 파괴하면 데이터가 희박한 영역에서의 모델 예측이 발생하여 특성 효과의 해석이 왜곡된다.
• 조건부 순열과 특성 제거 방법은 자연스러운 특성 관계를 유지하고 외삽을 피하므로 더 정확한 해석을 제공한다.
• 특성 간 의존성을 유지하는 모델 정련 방법은 더 충실한 보조 모델을 만들어 PaP보다 해석 가능성 향상에 기여한다.
• 기본 행동이 알려진 환경에서 PaP 기반 진단은 강한 특성 상관관계 하에서 진정된 특성 효과와 체계적으로 다를 뿐 아니라 특히 그러한 상황에서 크게 왜곡된다.