[논문 리뷰] Understanding Interventional TreeSHAP : How and Why it Works

Gabriel Laberge, Yann Pequignot|arXiv (Cornell University)|2022. 09. 29.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 Interventional TreeSHAP가 어떻게 작동하며 왜 작동하는지에 대한 첫 번째 공식적인 수학적 증명을 제공하며, 수문 나무 앙상블 모델을 Shapley 값으로 설명하는 데 있어 그 정확성을 입증한다. 이 증명은 Shapley-Taylor 지수와 one-hot 인코딩된 특징으로까지 확장 가능하여 기계학습 모델의 보다 넓은 적용과 향상된 해석 가능성 가능성을 열어준다.

ABSTRACT

Shapley values are ubiquitous in interpretable Machine Learning due to their strong theoretical background and efficient implementation in the SHAP library. Computing these values previously induced an exponential cost with respect to the number of input features of an opaque model. Now, with efficient implementations such as Interventional TreeSHAP, this exponential burden is alleviated assuming one is explaining ensembles of decision trees. Although Interventional TreeSHAP has risen in popularity, it still lacks a formal proof of how/why it works. We provide such proof with the aim of not only increasing the transparency of the algorithm but also to encourage further development of these ideas. Notably, our proof for Interventional TreeSHAP is easily adapted to Shapley-Taylor indices and one-hot-encoded features.

연구 동기 및 목표

• Interventional TreeSHAP의 정확성을 엄밀한 수학적 증명으로 제시하여 이전 연구에서 부족했던 공식적 근거를 보완하는 것.
• 이론적 기초와 잠재적 가정을 드러내어 TreeSHAP의 투명성과 신뢰도를 높이는 것.
• 이 증명 프레임워크가 Shapley-Taylor 지수와 같은 다른 게임 이론적 기반 할당 방법으로 쉽게 확장될 수 있음을 보여주는 것.
• 실제 기계학습 파이프라인에서 흔한 one-hot 인코딩된 범주형 특징을 처리할 수 있도록 TreeSHAP를 확장하여 기존 SHAP 구현에서 지원하지 않는 사례를 해결하는 것.
• 교육 및 연구 응용을 지원하기 위해 이론적 분석과 동일한 표기법을 사용하는 C++ 기반의 수학적으로 일치하는 구현을 제공하여 교육용 및 향후 개발에 활용 가능하게 하는 것.

제안 방법

• 협력 게임 이론을 사용하여 Interventional TreeSHAP의 공식적 증명을 수행하여, 간섭(Do-계산) 가정 하에 수문 나무 앙상블 모델의 정확한 Shapley 값을 계산하는 알고리즘이라는 것을 입증한다.
• 결정 트리를 순회하면서 특징 부분집합에 대한 기여도를 누적하는 방식으로 Shapley 값을 계산하는 재귀적 알고리즘을 유도한다.
• 게임 이론적 가치 함수를 재정의하여 고차원 특징 상호작용을 캡처함으로써 증명을 Shapley-Taylor 지수로 확장한다.
• one-hot 인코딩된 특징을 연속 공간으로 매핑하는 특징 임bedding 프레임워크를 도입하여 Partition-TreeSHAP를 통한 일관된 할당이 가능하도록 한다.
• 임베딩된 좌표에서 원래 특징으로의 전사 사상 𝒫을 정의하여 할당 결과를 원래 특징 공간으로 다시 집계할 수 있도록 한다.
• 이론적 분석과 동일한 표기법을 사용하여 C++로 Taylor-TreeSHAP 및 Partition-TreeSHAP를 구현하고, 파이썬 래핑을 제공하여 명확성과 교육적 목적을 확보한다.

실험 결과

연구 질문

• RQ1 게임 이론 원리에 기반하여 Interventional TreeSHAP의 정확성을 어떻게 공식적으로 증명할 수 있는가?
• RQ2 Interventional TreeSHAP의 증명 프레임워크는 고차원 특징 상호작용을 위한 Shapley-Taylor 지수를 계산하는 데 어떻게 응용될 수 있는가?
• RQ3 TreeSHAP는 one-hot 인코딩된 범주형 특징을 어떻게 처리하면서 정확한 할당을 유지할 수 있는가?
• RQ4 TreeSHAP의 재귀적 집계 방식과 전체 Shapley 값 계산 간의 이론적 등가성은 어떤 이론적 근거를 지니는가?
• RQ5 이론적 통찰은 어떻게 재사용 가능하고, 교육용이며 확장 가능한 구현으로 번역될 수 있는가?

주요 결과

• 논문은 Interventional TreeSHAP가 간섭 가정 하에 수문 나무 앙상블 모델의 Shapley 값을 정확히 계산한다는 첫 번째 완전한 공식적 증명을 제공한다.
• 증명 구조는 Shapley-Taylor 지수로 직접 이식 가능하여 고차원 특징 상호작용 효과를 효율적으로 계산할 수 있도록 한다.
• 새로운 임베딩 및 할당 집계 프레임워크를 통해 one-hot 인코딩된 특징을 지원함으로써 TreeSHAP는 이진 또는 수치형 특징을 넘어서 확장된다.
• 이론적 분석과 동일한 표기법을 사용하여 C++로 구현된 Partition-TreeSHAP 및 Taylor-TreeSHAP가 제공되며, 일관성과 교육적 명확성을 확보한다.
• 이론적 프레임워크는 연속형 및 one-hot 인코딩된 특징을 포함한 혼합된 특징 유형에 대해 정확한 할당을 가능하게 하며, 모델 재학습 없이도 작동한다.
• 결과적으로 TreeSHAP의 효율성과 정확성은 탄탄한 게임 이론적 기초에서 비롯되며, 신뢰할 수 있는 설명 가능성 도구로의 활용을 뒷받침한다.