[논문 리뷰] Stability theory of game-theoretic group feature explanations for machine learning models

Alexey Miroshnikov, Konstandinos Kotsiopoulos외 2명|arXiv (Cornell University)|2021. 02. 22.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 기계학습에서 게임 이론적 군집 해석기의 기능 해석적 프레임워크를 개발하며, 조건부 및 경계 게임 값에 대한 안정성 분석을 도입한다. 새로운 협력적 해석기들을 제안하여 양식적 해석 유형을 통합하고 복잡성을 감소시키며, 매개변수화된 분할 트리를 통해 중첩된 분할으로 일반화한다. 기존 방법에 비해 향상된 안정성과 이론적 강건성을 입증한다.

ABSTRACT

In this article, we study feature attributions of Machine Learning (ML) models originating from linear game values and coalitional values defined as operators on appropriate functional spaces. The main focus is on random games based on the conditional and marginal expectations. The first part of our work formulates a stability theory for these explanation operators by establishing certain bounds for both marginal and conditional explanations. The differences between the two games are then elucidated, such as showing that the marginal explanations can become discontinuous on some naturally-designed domains, while the conditional explanations remain stable. In the second part of our work, group explanation methodologies are devised based on game values with coalition structure, where the features are grouped based on dependencies. We show analytically that grouping features this way has a stabilizing effect on the marginal operator on both group and individual levels, and allows for the unification of marginal and conditional explanations. Our results are verified in a number of numerical experiments where an information-theoretic measure of dependence is used for grouping.

연구 동기 및 목표

• 기계학습에서 군집 기능 해석기를 기능 해석 공간의 연산자로 형식화하여 수학적 엄밀성과 해석 가능성 확보.
• 데이터 기반 거리 척도 하에서 조건부 및 경계 게임 값의 안정성 분석을 통해 경계 설명에서의 불안정성 드러냄.
• 구조적 분할을 가진 협력 게임 값으로 조건부 및 경계 설명을 통합하여 복잡성을 감소시키고 강건성을 향상.
• 매개변수화된 분할 트리를 사용해 중첩된 분할으로 그룹화 방법을 일반화하고, 재귀적 협력 게임 값을 가능하게 함.
• 협력 게임 값에 대한 이중 단계 표현을 수립하여, 이를 중간 게임과 기본 값으로 분해함으로써 이론적 및 계산적 이점 확보.

제안 방법

• 해석 기반 연산자를 모델 함수에서 기능 기여도로 매핑하는 방식으로 정의하며, 데이터 및 모델 분포에 대해 $ L^2 $ 공간에서 정의.
• 조건부 게임과 경계 게임을 각각 $ \mathbb{E}[f(X)\mid X_S] $ 및 $ \mathbb{E}[f(x_S,X_{-S})]\big|_{x_S=X_S} $ 를 기반으로 도입하여 서로 다른 유형의 해석을 모델링.
• 비협력 게임을 다룰 수 있도록 확장된 게임 값 $ \bar{h} $ 와 $ \bar{g} $ 를 제안하여 안정적이고 해석 가능한 군집 해석 제공.
• 협력 게임 값에 대한 이중 단계 표현을 개발: $ h^{(1)} $, $ h^{(2)} $, 및 중간 게임 $ \hat{v}_T $ 를 정의하여 재귀적 분해 가능.
• 중첩된 그룹화를 모델링하기 위해 매개변수화된 분할 트리 $ \mathcal{T} $ 를 도입하고, 계층적 협력에 기반한 재귀적 해석기 $ \bar{u}_{S_j^\alpha} $ 를 정의.
• 상호정보 기반 예측기 분할을 적용하여 데이터 기반 분할을 구성함으로써 군집 해석기의 안정성과 해석 가능성 향상.

실험 결과

연구 질문

• RQ1 자연스러운 데이터 기반 거리 척도 하에서 조건부 및 경계 게임 값의 안정성 특성이 어떻게 다를까?
• RQ2 구조적 분할을 가진 협력 게임 값이 조건부 및 경계 설명을 통합하면서도 계산 복잡도를 감소시킬 수 있는가?
• RQ3 계층적 분할 트리 기반 재귀적 군집 해석기의 이론적 기초는 무엇인가?
• RQ4 상호정보 기반 예측기 분할이 군집 기능 해석의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ5 협력 게임 값의 이중 단계 분해는 무엇이며, 이를 중첩된 분할으로 일반화할 수 있는가?

주요 결과

• 자연스러운 $ L^2(P_X) $-기반 거리 척도 하에서 경계 게임 값 연산자 $ \bar{\mathcal{E}}^{\text{ME}} $ 는 불안정함을 입증하였고, 반면 조건부 게임 값 연산자 $ \bar{\mathcal{E}}^{\text{CE}} $ 는 유계이자 연속적임을 확인.
• 제안된 $ \bar{g} $ 를 기반으로 한 협력적 해석기는 조건부 및 경계 설명을 통합하여 별도의 접근 방식보다 낮은 계산 복잡도 달성.
• 협력 게임 값의 이중 단계 표현은 임의의 값을 두 개의 기본 값과 중간 게임의 가족으로 분해함으로써 모듈러한 구성과 분석 가능.
• 매개변수화된 분할 트리 $ \mathcal{T} $ 를 기반으로 정의된 재귀적 협력 해석기는 그룹화 방법을 중첩된 분할으로 일반화하여 계층적 해석 지원.
• 예측기의 상호정보 기반 분할은 결과 해석기 연산자의 안정성, 특히 고차원 설정에서 크게 향상시킴.
• 확장된 게임 값 $ \bar{g} $ 는 다양한 분할 간에도 해석기 연산자의 유계성과 연속성을 보장하여 이론적 강건성 입증.