[논문 리뷰] Feature Removal Is a Unifying Principle for Model Explanation Methods

Ian Covert, Scott Lundberg외 1명|arXiv (Cornell University)|2020. 11. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 57인용 수 19

한 줄 요약

이 논문은 특성 제거 원리를 바탕으로 한 모델 해석 방법의 통합 프레임워크를 제안하며, SHAP, LIME, 순열 검증 등 26종의 다양한 방법이 이 핵심 메커니즘을 共通으로 가짐을 보여준다. 특성 제거 방식, 분석할 모델 행동, 影響 요약 방식의 세 가지 차원을 통해 특성 제거를 형식화함으로써, 국소적, 전역적, 게임 이론적 접근 간 깊은 구조적 유사성을 드러내며, 더 나은 방법 선택과 향후 연구를 이끌어내는 데 기여한다.

ABSTRACT

Researchers have proposed a wide variety of model explanation approaches, but it remains unclear how most methods are related or when one method is preferable to another. We examine the literature and find that many methods are based on a shared principle of explaining by removing - essentially, measuring the impact of removing sets of features from a model. These methods vary in several respects, so we develop a framework for removal-based explanations that characterizes each method along three dimensions: 1) how the method removes features, 2) what model behavior the method explains, and 3) how the method summarizes each feature's influence. Our framework unifies 26 existing methods, including several of the most widely used approaches (SHAP, LIME, Meaningful Perturbations, permutation tests). Exposing the fundamental similarities between these methods empowers users to reason about which tools to use, and suggests promising directions for ongoing model explainability research.

연구 동기 및 목표

• 문헌에서 급격히 증가한 다양한 모델 해석 방법 간의 관계와 잠재 원리를 명확히 하기 위해.
• 많은 기존 해석 기법들에 뿌리를 두고 있는 통합 원리인 특성 제거를 특정화하기 위해.
• 세 가지 차원—특성 제거 전략, 분석할 모델 행동, 영향 요약 방법—에 따라 설명 방법을 특성화하는 형식적 프레임워크를 개발하기 위해.
• SHAP, LIME, IME 등 널리 쓰이는 방법들을 특성 제거에 기반한 공통 기반을 드러내어 이해 체계를 체계화하기 위해.
• 연구자와 실무자가 방법 선택에 대해 더 신중하게 고려할 수 있도록 하고, 모델 해석 가능성 분야의 향후 연구를 이끌 수 있도록 하기 위해.

제안 방법

• 프레임워크는 설명 방법이 세 핵심 선택에 의해 작동한다고 모델링한다: (1) 특성이 어떻게 제거되는가(예: 기준치로 대체, 마진화, 별도 모델 훈련), (2) 어떤 모델 행동이 분석되는가(예: 예측, 손실, 분산), (3) 특성 영향이 어떻게 요약되는가(예: 기대값, 차이, 샤플리 값).
• 서브셋 함수를 도입하여 다양한 특성 제거 전략을 수학적으로 표현하고 비교할 수 있도록 하여, 방법 간 상호 교환 가능성을 가능하게 한다.
• 기존 방법들을 핵심 목적과 실용적 근사치에서 분리함으로써 일반화를 도모하며, 예를 들어 특성 제거에 마진 또는 조건부 분포를 사용하는 것과 같은 방식을 분리한다.
• 전역적 및 국소적 방법 간의 관계를 형식화하여, 심지어 Shapley Effects나 SAGE와 같은 방법들도 동일한 특성 제거 프레임워크 내에서 표현될 수 있음을 보여준다.
• SHAP, LIME, 의미 있는 편향, 순열 검증, TreeSHAP 등 26개의 방법에 프레임워크를 적용하여 그들의 공통 기반을 입증한다.
• 수학적 유도를 통해 특정 가정 하에서 KernelSHAP와 IME가 동치임을 보이며, 예를 들어 제거된 특성에 대해 연합 마진 분포를 사용할 경우를 가정한다.

실험 결과

연구 질문

• RQ1 SHAP, LIME, 순열 검증 등 널리 쓰이는 모델 해석 방법들이 근본적으로 어떻게 관련되어 있는가?
• RQ2 다양한 해석 방법들 간 공통 메커니즘을 포괄하는 통합 프레임워크를 개발할 수 있는가?
• RQ3 기존 해석 방법들을 구분하는 데 핵심이 되는 세 가지 주요 차원은 무엇인가? 그러나 공통 원리는 유지한다.
• RQ4 게임 이론적 접근과 특성 선택 기법처럼 보기에 관련 없는 방법들이 얼마나 깊이 공통된 기반 메커니즘을 共通으로 가지는가?
• RQ5 이 프레임워크는 기존 방법들의 가정과 상충 요소를 어떻게 명확히 할 수 있는가? 예를 들어, 제거된 특성의 분포 선택에 대한 가정을.

주요 결과

• 논문은 SHAP, LIME, 순열 검증 등 26개의 기존 해석 방법에서 특성 제거를 통합 원리로 규명하며, 이 모든 방법들이 모델에서 특성을 제거했을 때의 영향을 측정한다는 점을 드러낸다.
• 프레임워크는 모든 방법이 특성 제거 전략, 분석할 모델 행동, 영향 요약 방식의 세 가지 선택에 의해 특성화될 수 있음을 형식화하여 체계적 비교를 가능하게 한다.
• IME와 SHAP가 특정 가정 하에서 수학적으로 동치임을 보이며, 예를 들어 제거된 특성에 대해 연합 마진 분포를 사용할 경우를 가정한다.
• 프레임워크는 TreeSHAP이 결측치를 처리하는 방식이 표준 마진화와 동치가 아니며, 오히려 트리의 구조에 기반한 경로 평균화 메커니즘을 사용한다는 점을 드러낸다.
• 분산 기반 방법인 Shapley Effects와 SAGE는 손실 또는 분산 감소를 기반으로 협동 게임을 재정의함으로써 특성 제거 프레임워크 내에 재구성될 수 있음을 입증한다.
• 방법의 핵심 목적을 계산적 근사치에서 분리함으로써, 일부 널리 쓰이는 방법들이 명시되지 않은 채로 암묵적인 가정에 의존하고 있음을 드러내며, 예를 들어 균일 또는 마진 분포를 사용하는 것 등이다.