[논문 리뷰] The Shapley Taylor Interaction Index

Kedar Dhamdhere, Ashish Agarwal외 1명|arXiv (Cornell University)|2019. 02. 14.

Decision-Making and Behavioral Economics참고 문헌 29인용 수 8

한 줄 요약

이 논문은 모델 예측을 크기 $k$ 이하의 특성 상호작용으로 할당하는 데 사용되는 샤플리-테일러 상호작용 인덱스를 제안한다. 이는 모델의 집합론적 행동의 다항선형 확장에 대한 테일러 급수 유사 분해를 통해 이루어지며, 기존의 샤플리 상호작용 인덱스와 비교해 더 높은 순서의 상호작용을 안정적이고 충족 가능한 축약 기반으로 해석할 수 있도록 한다. 특히 부호 불안정성이 없고 계산 비용이 낮아, 딥러닝 모델에서의 해석 가능성 향상에 기여한다.

ABSTRACT

The attribution problem, that is the problem of attributing a model's prediction to its base features, is well-studied. We extend the notion of attribution to also apply to feature interactions. The Shapley value is a commonly used method to attribute a model's prediction to its base features. We propose a generalization of the Shapley value called Shapley-Taylor index that attributes the model's prediction to interactions of subsets of features up to some size k. The method is analogous to how the truncated Taylor Series decomposes the function value at a certain point using its derivatives at a different point. In fact, we show that the Shapley Taylor index is equal to the Taylor Series of the multilinear extension of the set-theoretic behavior of the model. We axiomatize this method using the standard Shapley axioms -- linearity, dummy, symmetry and efficiency -- and an additional axiom that we call the interaction distribution axiom. This new axiom explicitly characterizes how interactions are distributed for a class of functions that model pure interaction. We contrast the Shapley-Taylor index against the previously proposed Shapley Interaction index (cf. [9]) from the cooperative game theory literature. We also apply the Shapley Taylor index to three models and identify interesting qualitative insights.

연구 동기 및 목표

• 개별 특성 외에도 크기 $k$ 이하의 특성 조합 간의 상호작용까지 포함해 특성 기여도를 확장하는 것.
• 기존 방법의 부호 불안정성과 높은 계산 비용을 피하면서도 안정적이고 축약 기반의 상호작용 기여도 할당 방법을 개발하는 것.
• 이론적으로 탄탄하고 해석 가능한 방법을 제공하여 딥러닝 모델에서 의미 있는 특성 상호작용을 식별하는 것.
• 실세계의 NLP 및 회귀 작업에서의 실용성을 입증하여, 부정, 강조, 상호보완성과 같은 모델 행동의 통찰을 드러내는 것.

제안 방법

• 모델의 집합 함수의 다항선형 확장을 이용한 테일러 급수 전개를 통해 샤플리 값을 상호작용으로 일반화한다.
• 샤플리-테일러 인덱스를 테일러 전개의 $k$-차항 계수로 정의하여 크기 $k$인 특성 조합의 상호작용 효과를 캡처한다.
• 기본 샤플리 공리(선형성, 빈도, 대칭성, 효율성)에 더해 순수 상호작용 함수를 특징짓는 새로운 '상호작용 분포 공리'를 도입하여 방법을 축약 기반으로 정의한다.
• 다항선형 확장에서 유도된 닫힌 형태의 표현식을 통해 작은 특성 집합에서는 정확한 계산이 가능하다.
• 대규모 모델의 경우, 계산 가능성을 확보하기 위해 통합 기울기(Integrated Gradients)를 적용해 영향력 있는 특성의 소규모 집합을 먼저 식별한 후 인덱스를 계산한다.
• 실세계 모델에서의 질적 패턴 분석을 통해 기존의 샤플리 상호작용 인덱스와의 비교를 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 크기 $k$ 이하의 상호작용에 대해 개별 특성 기여도를 넘어서 모델 예측을 체계적으로 특성 상호작용에 할당할 수 있는 방법은 무엇인가?
• RQ2 어떤 축약 공리적 성질이 다양한 유형의 상호작용 함수에 대해 공정하고 일관된 상호작용 기여도 할당을 보장하는가?
• RQ3 샤플리-테일러 인덱스는 부호 변화 및 계산 비용 측면에서 샤플리 상호작용 인덱스와 비교해 안정성과 해석 가능성 측면에서 어떻게 다를까?
• RQ4 실제 모델에서 이 방법을 통해 어떤 의미 있는 상호작용 패턴(예: 부정, 강조, 상호보완성 등)을 탐지할 수 있는가?
• RQ5 기존의 특성 기여도 분석이 놓쳤던 바, 독해력 테스트에서 질문어와 문맥어 간의 일치 관계(예: 'percentage'와 'percent'의 매칭)와 같은 모델 행동의 통찰을 이 방법이 드러낼 수 있는가?

주요 결과

• 샤플리-테일러 인덱스는 감성 분석에서 'not'과 'good'과 같은 감성 어휘 간의 상호작용을 성공적으로 캡처하며, 상호작용 효과가 0.778로 나타난다.
• 이 방법은 'both inspiring'과 같이 감성 영향을 강화하는 강조 효과를 식별하며, 상호작용 효과가 0.1로 나타난다.
• 감성 분석 작업에서 이 방법은 상호보완성 패턴을 드러내며, 주 효과와 반대 부호의 상호작용 효과를 보인다. 예를 들어 'a crisp psychological drama'에서 상호작용 효과는 0.48이다.
• 랜덤 포레스트 회귀 모델에서는 대부분의 이원 상호작용이 상호보완적인 관계를 띠며, 주 효과 대비 상호작용 효과의 그래프 기울기가 음수로 나타나 상관관계가 있는 특성들임을 시사한다.
• 독해력 작업에서는 질문어와 문맥어 간의 특정 매칭, 예를 들어 'percentage'와 'percent'의 매칭을 식별하며, 이는 이전 분석에서 발견되지 않았다.
• 샤플리-테일러 인덱스는 샤플리 상호작용 인덱스에서 관찰되는 부호 불안정성 문제를 피하며, 함수 크기와 관계없이 상호작용 값의 부호가 뒤바뀌는 현상이 발생하지 않아, 더 신뢰할 수 있는 상호작용 효과 분포를 제공한다.