[논문 리뷰] Shapley Flow: A Graph-based Approach to Interpreting Model Predictions

Jiaxuan Wang, Jenna Wiens외 1명|arXiv (Cornell University)|2020. 10. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 33인용 수 29

한 줄 요약

Shapley Flow는 기존의 노드 기반 접근 방식이 아닌 인과 그래프의 간선에 특성 중요도를 할당함으로써 기계 학습 모델 예측을 해석하기 위한 새로운 그래프 기반 방법을 제안한다. 이는 직접적 영향과 간접적 영향을 모두 포괄하는 통합적이고 충족 가능한 설명을 가능하게 하며, 방향성 있는 비순환 그래프에 대해 셰플리 값의 일반화를 통해 유일한 해를 제공함으로써 SHAP 및 ASV와 같은 이전 방법의 한계를 해결한다.

ABSTRACT

Many existing approaches for estimating feature importance are problematic because they ignore or hide dependencies among features. A causal graph, which encodes the relationships among input variables, can aid in assigning feature importance. However, current approaches that assign credit to nodes in the causal graph fail to explain the entire graph. In light of these limitations, we propose Shapley Flow, a novel approach to interpreting machine learning models. It considers the entire causal graph, and assigns credit to extit{edges} instead of treating nodes as the fundamental unit of credit assignment. Shapley Flow is the unique solution to a generalization of the Shapley value axioms to directed acyclic graphs. We demonstrate the benefit of using Shapley Flow to reason about the impact of a model's input on its output. In addition to maintaining insights from existing approaches, Shapley Flow extends the flat, set-based, view prevalent in game theory based explanation methods to a deeper, extit{graph-based}, view. This graph-based view enables users to understand the flow of importance through a system, and reason about potential interventions.

연구 동기 및 목표

• 특성 간 상관관계로 인해 간접적 영향을 忽시하거나 잘못 할당하는 기존 특성 할당 방법의 한계를 해결하기 위해.
• 기존의 게임 이론적 특성 중요도 접근 방식을 단일한 그래프 기반 프레임워크로 통합하기 위해.
• 인과 그래프에서 간선 기반 할당을 통해 모델 예측의 완전한 시스템 수준의 시각을 제공하기 위해.
• 특성의 변형 순서에서 인과적 순서를 존중함으로써 설명의 경계 일致성과 인과적 정확성을 확보하기 위해.
• 현장 내 변형과 임의의 특성 순서로 인한 할당의 일관성 상실 문제를 해결하기 위해.

제안 방법

• 특성 할당을 인과 그래프의 노드가 아닌 간선에 대한 신용 할당으로 재정의한다.
• 셰플리 값의 공리 체계를 그래프에 적용할 수 있도록 일반화하여 간선 기반 신용 할당에 대한 유일한 해를 정의한다.
• 메시지 전파 역사를 모델링하기 위해 캐리어 게임 설정을 사용하여 다양한 설명 경계에서의 일관성을 보장한다.
• 선형성과 효율성 공리를 적용하여 직접적 영향과 간접적 영향을 모두 반영하는 간선 할당을 계산한다.
• 특정 그래프 컷에 일치하는 역사만을 제한하는 경계 인식형 수식을 도입하여 일관성 상실을 방지한다.
• 간선 집합에 대해 일반화된 셰플리 값을 사용하여 효율적으로 할당을 계산하기 위해 재귀적 계산 전략을 활용한다.

실험 결과

연구 질문

• RQ1 인과적 의존성이 있는 시스템에서 셰플리 값 프레임워크를 어떻게 확장하여 일관적이고 종합적인 특성 할당을 가능하게 할 수 있는가?
• RQ2 기존의 노드 기반 할당 방법은 왜 인과 그래프에서 직접적 영향과 간접적 영향을 모두 포착하지 못하는가?
• RQ3 셰플리 값의 공리적 성질을 유지하면서도 그래프 구조에서 작동하는 통합 프레임워크를 개발할 수 있는가?
• RQ4 실제 인과 시스템에서 간선 기반 할당은 노드 기반 할당에 비해 해석 가능성에서 어떻게 향상되는가?
• RQ5 특성 할당에서 인과적 구조를 忽시할 경우 어떤 결과가 발생하며, Shapley Flow는 이를 어떻게 완화하는가?

주요 결과

• Shapley Flow는 방향성 있는 비순환 그래프에 대해 일반화된 셰플리 공리를 유일하게 만족하여 간선에 대한 신용 할당이 일관되고 공정하도록 보장한다.
• 분수기 예제에서 Shapley Flow는 상류(계절)와 하류(분수기, 포장면) 변수 모두에게 정확히 신용을 할당하는 반면, ASV는 하류 영향을 忽시한다.
• 영양 데이터셋에서 Shapley Flow는 수축기 혈압에 양의 할당을 부여하는 반면, ASV는 이를 0으로 할당하여 직접적인 인과적 영향을 포착함을 보여준다.
• 현장 내 SHAP는 비인과적 변형 순서로 인해 나이의 할당 기호가 뒤바뀌는 잘못된 결과를 도출하지만, Shapley Flow는 인과적 구조를 존중함으로써 이를 방지한다.
• 모든 가능한 역사 고려 시 경계 일관성 문제가 발생할 수 있으나, Shapley Flow는 주어진 설명 경계와 일치하는 역사만을 제한함으로써 이를 회피한다.
• Shapley Flow는 사용자가 중요도의 흐름을 시스템 전반에서 추적할 수 있도록 하여 잠재적 간섭과 인과 경로에 대한 추론을 지원한다.