[논문 리뷰] Technical Note: Game-Theoretic Interactions of Different Orders

Hao Zhang, Xu Cheng외 2명|arXiv (Cornell University)|2020. 10. 28.

Sports Analytics and Performance참고 문헌 18인용 수 8

한 줄 요약

이 논문은 깊이 신경망(DNNs) 내의 특성 상호작용을 다중 순서 성분으로 분해하기 위한 게임 이론적 프레임워크를 제안하며, 다양한 맥락 척도에서 입력 변수 간의 상호작용 정도를 정량화한다. 셰플리 값과 상호작용 지수를 활용하여 크기가 다른 맥락의 기여도를 분리함으로써, 국소적이고 전역적인 추론 패tern이 DNN 행동에 미치는 영향을 드러낸다.

ABSTRACT

In this study, we define interaction components of different orders between two input variables based on game theory. We further prove that interaction components of different orders satisfy several desirable properties.

연구 동기 및 목표

• 게임 이론을 사용하여 DNN 내 입력 변수 간의 상호작용 성분을 다양한 맥락 척도에서 체계적으로 형식화하고 정량화한다.
• 전체 특성 상호작용을 0에서 n−2까지의 서로 다른 순서로 분해하여, 크기가 다른 맥락에서의 상호작용을 반영한다.
• 이론적으로 탄탄하고 해석 가능한 DNN 신호 처리 분해를 구축하여 국소적 상호작용 효과와 전역적 상호작용 효과를 분리한다.
• 제안된 상호작용 성분이 선형성, 대칭성, 효율성과 같은 핵심 축약 성질을 만족함을 증명한다.
• 혼합 순서 효과의 혼동을 피하기 위해 정확히 m-맥락 참가자로부터의 기여도를 분리하여 상호작용 측정치를 정제한다.

제안 방법

• 각 입력 특성을 협력 게임의 참가자로 모델링하고, DNN 출력을 게임의 가치 함수 $v: 2^N \to \mathbb{R}$로 간주한다.
• 선형성, 빈자리 참가자, 대칭성, 효율성 성질을 통해 공정성을 확보하는 셰플리 값 $\phi(i|N)$을 사용해 개별 특성의 기여도를 계산한다.
• 두 특성 간의 총 상호작용 $I(i,j)$를 $j$가 추가되거나 제거되었을 때 $\phi(i)$의 변화로 정의한다.
• 총 상호작용 $I(i,j)$를 $n-1$개 성분으로 분해한다: $I(i,j) = \frac{1}{n-1}\sum_{m=0}^{n-2} I^{(m)}(i,j)$, 여기서 $I^{(m)}(i,j)$는 크기가 $m$인 맥락에서의 상호작용을 캡처한다.
• 포함-배제 원리를 $R_T(i,j)$ — 부분집합 $T$에서 $i,j$의 마진널 기여도 — 에 적용하여 정제된 상호작용 측정치 $J^{(m)}(i,j)$를 도입함으로써 정확히 $m$-크기 맥락의 기여도를 분리한다.
• 순환적 공식을 유도하여 $J^{(m)}(i,j)$를 $I^{(m)}(i,j)$에서 계산함으로써 순수 순서 상호작용의 효율적 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DNN 내 특성 상호작용은 어떻게 다양한 맥락 척도에서 체계적으로 분해될 수 있는가?
• RQ2 다중 순서 상호작용 성분은 어떤 성질을 만족하며, 게임 이론의 축약 기반을 유지하는가?
• RQ3 상호작용 성분은 정확히 $m$-크기 맥락의 기여도를 분리하여 혼합 순서 효과의 혼란을 피할 수 있는가?
• RQ4 상호작용 성분은 총 셰플리 값 분해와 게임의 효율성과 어떻게 관련이 있는가?
• RQ5 맥락 크기 $m$은 DNN 추론에서 특성 쌍 $i,j$의 기여도에 어떤 역할을 하는가?

주요 결과

• 두 입력 변수 간의 상호작용 $I(i,j)$는 정확히 $n-1$개 성분 $I^{(m)}(i,j)$로 분해될 수 있으며, 각 성분은 크기가 $m$인 맥락에서 $i$와 $j$의 평균 마진널 기여도를 반영한다.
• 정제된 상호작용 $J^{(m)}(i,j)$는 정확히 $m$개의 다른 참가자가 포함된 맥락에서의 기여도를 분리하여, 낮거나 높은 순서 효과의 혼란을 제거한다.
• 상호작용 성분 $I^{(m)}(i,j)$는 게임 이론의 핵심 성질을 만족한다: 선형성, 빈자리 참가자, 대칭성, 마진널 기여도, 누적, 순환, 효율성.
• 순환 성질은 전체 맥락과 최소 맥락 간의 총 기여도 차이가 모든 $I^{(m)}(i,j)$의 합과 일치함을 확인하며, 셰플리 값 이론과 일치한다.
• 효율성 성질은 전체 게임 가치 $v(N) - v(\emptyset)$가 모든 $\phi^{(0)}(i|N)$과 가중치가 부여된 $I^{(k)}(i,j)$ 항의 합으로 완전히 설명됨을 보장한다.
• 순환 공식 $J^{(m)}(i,j) = I^{(m)}(i,j) - \sum_{p=0}^{m-1} \binom{p}{m} \cdot J^{(p)}(i,j)$는 집계된 $I^{(m)}(i,j)$에서 순수 순서 상호작용을 정확히 계산할 수 있게 한다.