[논문 리뷰] A New Interaction Index inspired by the Taylor Series

Ashish Agarwal, Kedar Dhamdhere외 1명|arXiv (Cornell University)|2019. 02. 14.

Multi-Criteria Decision Making인용 수 4

한 줄 요약

이 논문은 모델의 집합론적 행동의 다항선형 확장의 테일러 급수 유사 분해를 기반으로 하여 크기 k까지의 특성 상호작용을 정량화하는 데 사용할 수 있는 새로운 상호작용 기여도 방법인 샤플리-테일러 지수를 소개한다. 이 방법은 표준 샤플리 공리에 더하여 상호작용 분배 공리를 추가한 축약된 공리체계를 갖추고 있어, 예측을 특성 상호작용에 기여도를 부여하는 원칙적인 방법을 제공하며, 세 가지 모델에 대한 실증적 통찰을 제공한다.

ABSTRACT

The attribution problem, that is the problem of attributing a model's prediction to its base features, is well-studied. We extend the notion of attribution to also apply to feature interactions. The Shapley value is a commonly used method to attribute a model's prediction to its base features. We propose a generalization of the Shapley value called Shapley-Taylor index that attributes the model's prediction to interactions of subsets of features up to some size k. The method is analogous to how the truncated Taylor Series decomposes the function value at a certain point using its derivatives at a different point. In fact, we show that the Shapley Taylor index is equal to the Taylor Series of the multilinear extension of the set-theoretic behavior of the model. We axiomatize this method using the standard Shapley axioms -- linearity, dummy, symmetry and efficiency -- and an additional axiom that we call the interaction distribution axiom. This new axiom explicitly characterizes how interactions are distributed for a class of functions that model pure interaction. We contrast the Shapley-Taylor index against the previously proposed Shapley Interaction index (cf. [9]) from the cooperative game theory literature. We also apply the Shapley Taylor index to three models and identify interesting qualitative insights.

연구 동기 및 목표

• 개념적으로 특성 상호작용을 크기 k까지 확장하여 개별 특성 기여도를 넘어서 특성 상호작용에 대한 기여도를 부여할 수 있도록 샤플리 값을 일반화하는 것.
• 테일러 급수 유사성에 기반한 원칙적인 방법을 개발하여 모델 예측을 특성 상호작용에 기여도를 할당하는 것.
• 순수 상호작용 효과를 모델링하는 함수에 대해 상호작용 기여도를 명시적으로 특성 하위집합에 할당하는 데 중점을 두어 새로운 상호작용 분배 공리를 포함한 공리적 특성 기반을 제공하는 것.
• 협동게임 이론에서 기존의 샤플리 상호작용 지수와 제안된 샤플리-테일러 지수를 비교하는 것.
• 세 가지 다른 모델에 적용하여 제안된 방법의 정성적 해석 가능성(해석 가능성)을 입증하는 것.

제안 방법

• 모델의 집합론적 행동의 다항선형 확장의 테일러 급수 전개를 기준점 주변에서 잘라내어 샤플리-테일러 지수를 유도한다.
• 이 방법은 개별 특성뿐만 아니라 크기 k까지의 특성 조합에 대한 기여도를 기여도 기반으로 할당함으로써 샤플리 값을 일반화한다.
• 표준 샤플리 공리(선형성, 빈도, 대칭성, 효율성)를 만족한다.
• 순수 상호작용 효과를 모델링하는 함수에 대해 상호작용 기여도가 어떻게 할당되는지를 명시적으로 기술하는 새로운 상호작용 분배 공리를 도입한다.
• 테일러 급수 분해의 기초 함수로 모델 행동의 다항선형 확장을 사용한다.
• 최종적으로 도출된 지수는 개별 특성과 그들의 상호작용에 기여하는 기여도로 모델 예측을 고유하고 해석 가능한 방식으로 분해한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 샤플리 값을 크기 k까지의 특성 상호작용에 대해 체계적으로 확장하여 모델 예측을 기여도로 할당할 수 있는가?
• RQ2 공정하고 일관된 상호작용 기여도 할당 방법을 특성화하기 위해 필요한 필수 공리적 성질은 무엇인가?
• RQ3 제안된 샤플리-테일러 지수는 협동게임 이론의 기존 샤플리 상호작용 지수와 이론적 기반과 해석 가능성 측면에서 어떻게 비교될 수 있는가?
• RQ4 테일러 급수 유사성은 상호작용 기여도의 개념적 및 계산적 프레임워크를 어떻게 향상시키는가?
• RQ5 실세계 모델에 샤플리-테일러 지수를 적용함으로써 어떤 정성적 통찰을 얻을 수 있는가?

주요 결과

• 샤플리-테일러 지수는 모델의 집합론적 행동의 다항선형 확장의 잘라낸 테일러 급수 전개와 수학적으로 동일하다.
• 이 방법은 표준 샤플리 공리를 만족하며, 상호작용 분배 공리를 추가함으로써 유일하게 특성화된다.
• 상호작용 분배 공리는 순수 상호작용 효과를 모델링하는 함수에 대해 상호작용 기여도를 하위집합에 할당하는 공식적 메커니즘을 제공한다.
• 샤플리-테일러 지수는 샤플리 상호작용 지수보다 더 체계적이고 이론적으로 탄탄한 상호작용 기여도 할당 접근법을 제공한다.
• 세 가지 모델에 대한 실증 적용 결과는 특성 상호작용 패tern에 대한 의미 있는 정성적 통찰을 드러내며, 이는 방법의 해석 가능성과 실용적 유용성을 입증한다.
• 이 방법은 모델 예측을 개별 특성과 그들의 상호작용에 기여하는 기여도로 계층적으로 분해할 수 있게 하여 모델의 투명성을 향상시킨다.