[논문 리뷰] Global Explainability of GNNs via Logic Combination of Learned Concepts

Steve Azzolin, Antonio Longa외 3명|arXiv (Cornell University)|2022. 10. 13.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 지역 설명에서 학습된 그래픽 개념을 조합하여 인간이 이해할 수 있는 논리 공식을 생성하는, 그래프 신경망(GNNs)를 위한 최초의 글로벌 해석 가능성 방법인 GLGExplainer를 소개한다. 완전히 미분 가능한 아키텍처를 사용하여 지역 설명을 부울 조합의 개념으로 통합함으로써, 합성 및 실제 데이터셋 모두에서 높은 정확도와 충실도를 달성한다.

ABSTRACT

While instance-level explanation of GNN is a well-studied problem with plenty of approaches being developed, providing a global explanation for the behaviour of a GNN is much less explored, despite its potential in interpretability and debugging. Existing solutions either simply list local explanations for a given class, or generate a synthetic prototypical graph with maximal score for a given class, completely missing any combinatorial aspect that the GNN could have learned. In this work, we propose GLGExplainer (Global Logic-based GNN Explainer), the first Global Explainer capable of generating explanations as arbitrary Boolean combinations of learned graphical concepts. GLGExplainer is a fully differentiable architecture that takes local explanations as inputs and combines them into a logic formula over graphical concepts, represented as clusters of local explanations. Contrary to existing solutions, GLGExplainer provides accurate and human-interpretable global explanations that are perfectly aligned with ground-truth explanations (on synthetic data) or match existing domain knowledge (on real-world data). Extracted formulas are faithful to the model predictions, to the point of providing insights into some occasionally incorrect rules learned by the model, making GLGExplainer a promising diagnostic tool for learned GNNs.

연구 동기 및 목표

• 개별 예측 수준을 넘어서 모델의 전체 의사결정 행동을 포괄하는 글로벌 해석 가능성 방법의 부족을 해결한다.
• 기존 글로벌 접근 방식의 한계를 극복한다. 예를 들어, 조합적 구조가 없는 합성 프로토타입을 생성하거나 도메인 지식을 요구하는 것.
• 지역 설명에서 추출한 학습된 그래픽 개념에서 논리 공식을 유도하여 신뢰할 수 있고 인간이 이해할 수 있는 글로벌 해석을 가능하게 한다.
• 모델 디버깅과 실제 응용에서 신뢰를 구축하는 데 도움이 되는 진단 도구를 제공한다.

제안 방법

• 각 예측에 대해 사전에 제공된 지역 해석기를 사용하여 개별 예측의 부분 그래프 설명을 추출한다.
• 미분 가능한 클러스터링 메커니즘을 사용하여 지역 설명을 그래픽 개념으로 클러스터링함으로써 이해하기 쉬운 고수준 단위를 형성한다.
• 노드 특징과 개념을 클래스 예측으로 매핑하는 엔드 투 엔드 미분 가능한 모델(E-LEN)을 훈련하여 논리 기반 의사결정 규칙을 학습한다.
• 하나의 프로토타입에 대한 강제 할당을 통해 디지털화 기법을 적용하여 개념 학습의 안정성을 높이고 공식의 정확도를 향상시킨다.
• 교차 엔트로피, 개념 순수도, 충실도 목표를 조합한 손실 함수를 사용하여 전체 파ipeline을 엔드 투 엔드로 최적화한다.
• 최종적으로 학습된 개념의 부울 조합으로서의 논리 공식을 추출하여 모델 예측 및 데이터 도메인 의미론과의 일치를 보장한다.

실험 결과

연구 질문

• RQ1 지역 설명에서 유도된 학습된 그래픽 개념을 기반으로 한 논리 공식으로 GNNs의 글로벌 설명을 효과적으로 표현할 수 있는가?
• RQ2 완전히 미분 가능한 아키텍처가 지역 설명을 일관되고 고수준의 논리 규칙으로 조합하여 GNN의 행동을 충실하게 표현할 수 있는가?
• RQ3 제안된 방법은 합성 및 실제 데이터 모두에서 기존의 글로벌 해석기인 XGNN과 GLocalX보다 충실도와 해석 가능성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 GLGExplainer는 GNNs가 학습한 잘못된 또는 부정확한 규칙을 어느 정도 드러내는 진단 도구로 기능하는가?
• RQ5 디지털화 기법은 개념 학습의 품질과 안정성, 공식의 정확도에 어떤 영향을 미치는가?

주요 결과

• GLGExplainer는 학습된 논리 공식을 사용하여 GNN 행동을 요약함에 있어 높은 충실도를 달성한다(합성 데이터셋인 BAMultiShapes에서 최대 0.95, HIN에서 0.89, Mutagenicity에서 0.84).
• 최적의 프로토타입 수(각각 BAMultiShapes: 6개, Mutagenicity: 2개, HIN: 4개)를 사용할 경우, 충실도와 개념 순수도 사이의 균형을 이루며, Mutagenicity에서 개념 순수도가 0.99에 도달한다.
• 디지털화 기법을 적용함으로써 개념 벡터 엔트로피가 0으로 감소하고 비디지털라이제이션 버전 대비 충실도가 2배 이상 향상되어 공식의 충실도가 크게 향상된다.
• GLGExplainer는 모델이 학습한 올바른 규칙뿐 아니라 가끔 잘못된 규칙까지 성공적으로 식별하여 진단 능력을 입증한다.
• XGNN는 평가된 모든 작업에서 의미 있는 글로벌 설명을 생성하지 못하는 바, 본 방법은 이를 뛰어넘는 성능을 보인다.
• 충실도와 공식 정확도 사이에 강한 상관관계가 존재하여, 추출된 논리 공식이 모델 예측의 신뢰할 수 있는 대체 지표임을 시사한다.