[논문 리뷰] Generalized Integrated Gradients: A practical method for explaining diverse ensembles

John Merrill, Geoff Ward외 3명|arXiv (Cornell University)|2019. 09. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 9

한 줄 요약

이 논문은 측도 이론적 경로 적분을 사용하여 신경망과 트리 기반 모델 등의 혼합형 모델을 다룰 수 있도록 통합 기울기(IG)를 확장한 새로운 축약적 방법인 일반화된 통합 기울기(GIG)를 소개한다. GIG는 임의의 가정 없이 유일하고 결정적으로 특성 기여도를 할당하며, 다양한 모델 아키텍처에서 기존 방법보다 정확성과 일관성 면에서 뛰어나다.

ABSTRACT

We introduce Generalized Integrated Gradients (GIG), a formal extension of the Integrated Gradients (IG) (Sundararajan et al., 2017) method for attributing credit to the input variables of a predictive model. GIG improves IG by explaining a broader variety of functions that arise from practical applications of ML in domains like financial services. GIG is constructed to overcome limitations of Shapley (1953) and Aumann-Shapley (1974), and has desirable properties when compared to other approaches. We prove GIG is the only correct method, under a small set of reasonable axioms, for providing explanations for mixed-type models or games. We describe the implementation, and present results of experiments on several datasets and systems of models.

연구 동기 및 목표

• 금융 및 헬스케어와 같은 고위험 분야에서 다양한 기계학습 앙상블을 일관되고 일반적으로 설명할 수 있는 방법의 부족을 해결하기 위해.
• 샤플리 값과 통합 기울기와 같은 기존 방법이 임의의 상향 변환 또는 비현실적인 독립성 가정에 의존하는 한계를 극복하기 위해.
• 모델 함수와 축약 원리에 의해 완전히 결정되는 신뢰할 수 있는 신용 할당 프레임워크를 개발하여 혼합형 모델에 대해 고유성과 정확성을 보장하기 위해.
• 통합 기울기의 일반화를 통해 이산적, 조각별로 일정한 함수 및 연속 함수를 통합적으로 다룰 수 있는 실용적이고 계산 가능한 방법을 제공하기 위해.

제안 방법

• GIG는 입력 공간의 르베그 분해를 기반으로 한 경로 적분을 정의하기 위해 측도 이론을 사용하여 통합 기울기를 확장하며, 연속 경로와 초평면을 따라 발생하는 이산성까지 포함한다.
• 기여도를 계산하기 위해 함수의 이산성 주변의 수직각(orthants) 기반 기하 분해를 사용하여 샤플리 값이 요구하는 임의의 조합적 상향 변환을 피한다.
• 선형성, 영 변수에 대한 민감도 없음, 대칭성이라는 소수의 축약 원리에서 유일한 해를 도출함으로써 고유성을 보장한다.
• 함수 대수학과 보렐 측도의 공식적 프레임워크를 사용하여, 일반화된 위치 모델을 포함한 혼합형 모델에 대한 일반화된 신용 할당을 가능하게 한다.
• 알고리즘은 르베그 측도와 모델의 이산성에 의해 유도되는 수직 보렐 측도를 기반으로 정의된 경로를 따라 적분하여 기여도를 계산한다.
• 신경망과 의사결정 트리의 조합인 앙상블와 같은 혼합형 함수의 모든 구성 요소에 대해 정확하게 신용을 할당할 수 있는 유일한 방법으로, 특성 간 독립성 가정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 임의의 가정이나 조합적 상향 변환 없이, 다양한 혼합형 기계학습 모델을 일관되게 설명할 수 있는 단일 축약적 기여도 할당 방법을 개발할 수 있는가?
• RQ2 선형성, 대칭성, 영 변수에 대한 민감도 없음이라는 핵심 축약 원리를 만족하는 고유한 방법이 연속적이고 이산적인 구성 요소를 모두 포함하는 모델에서 기여도를 할당할 수 있는가?
• RQ3 통합 기울기를 어떻게 공식적으로 일반화하여 트리 앙상블와 같은 조각별 일정한 행동을 보이는 모델을 다룰 수 있으며, 정확성과 일관성을 유지할 수 있는가?
• RQ4 경로 적분의 측도 이론적 서술 방식이 DeepSHAP 또는 TreeExplainer와 같은 기존 접근 방식보다 더 강력하고 일반적인 설명 방법을 가능하게 하는가?
• RQ5 모델 함수와 축약 원리에 의해 완전히 결정되며 자유 매개변수와 임의의 선택 사항이 없는 방법을 구성할 수 있는가?

주요 결과

• GIG는 선형성, 대칭성, 영 변수에 대한 민감도 없음이라는 핵심 축약 원리를 만족하면서도, 모델 함수와 입력 데이터에 의해 완전히 결정되며 자유 매개변수가 없는 유일한 방법이다.
• GIG는 기존 방법이 독립성 가정이나 임의의 상향 변환으로 실패하는 혼합형 모델—예를 들어 신경망과 트리 기반 모델을 조합한 앙상블—에 대해 특성 기여도를 고유하고 정확하게 할당한다.
• 샤플리 기반 방법과 달리 GIG는 고차원 공간으로의 조합적 상향 변환을 피함으로써 모호성을 제거하고 다양한 모델 표현 방식 간의 일관성을 보장한다.
• 특성 간 의존성 또는 모델이 마진 공간에 있지 않은 경우에도 GIG는 DeepSHAP 및 TreeExplainer보다 정확성과 일반성 면에서 뛰어나다.
• GIG는 이산적이고 혼합형 모델로의 통합 기울기의 엄밀한 측도 이론적 기반을 제공하며, 실제 기계학습 시스템의 정확한 설명을 가능하게 한다.
• 다양한 데이터셋에 대한 실증 결과는 GIG가 다양한 모델 아키텍처와 데이터 유형에서 일관되고 신뢰할 수 있으며 해석 가능한 기여도를 제공함을 확인한다.