[논문 리뷰] DAG Matters! GFlowNets Enhanced Explainer For Graph Neural Networks

Wenqian Li, Yinchuan Li외 3명|arXiv (Cornell University)|2023. 03. 04.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 GFlowNet 기반의 GFlowExplainer를 제안하며, GNN 해석을 순차적 서브그래프 생성 문제로 재정의하여 효율적이고 확장 가능하며 충실도가 높은 GNN 예측 해석을 가능하게 한다. DAG 구조와 새로운 컷 정점 행렬을 활용함으로써, 합성 및 실세계 데이터셋에서 최신 기법들보다 더 높은 샘플 효율성과 성능을 달성하며, 뛰어난 충실도와 희박성(스퍼스리티)을 확보한다.

ABSTRACT

Uncovering rationales behind predictions of graph neural networks (GNNs) has received increasing attention over the years. Existing literature mainly focus on selecting a subgraph, through combinatorial optimization, to provide faithful explanations. However, the exponential size of candidate subgraphs limits the applicability of state-of-the-art methods to large-scale GNNs. We enhance on this through a different approach: by proposing a generative structure -- GFlowNets-based GNN Explainer (GFlowExplainer), we turn the optimization problem into a step-by-step generative problem. Our GFlowExplainer aims to learn a policy that generates a distribution of subgraphs for which the probability of a subgraph is proportional to its' reward. The proposed approach eliminates the influence of node sequence and thus does not need any pre-training strategies. We also propose a new cut vertex matrix to efficiently explore parent states for GFlowNets structure, thus making our approach applicable in a large-scale setting. We conduct extensive experiments on both synthetic and real datasets, and both qualitative and quantitative results show the superiority of our GFlowExplainer.

연구 동기 및 목표

• 기존 조합 최적화 기반 GNN 해석 방법의 비효율성과 확장성 한계를 해결하기 위해.
• 트리 탐색 및 강화 학습 기반 접근법에서의 최적화되지 않은 샘플링과 순서 의존성 문제를 극복하기 위해.
• 사전 훈련 없이도 효율적이고 충실도가 높으며 인간이 이해할 수 있는 서브그래프 생성을 가능하게 하기 위해.
• 그래프 연결성 제약 조건 하에서 GFlowNets의 부모 상태 탐색 기제를 효율적으로 설계하기 위해.
• 최신 기준 대비 더 높은 충실도, 희박성, 정확도 성능을 입증하기 위해.

제안 방법

• 서브그래프의 확률이 보상(예: 예측과의 상호정보량)에 비례하는 방식으로 GFlowNets를 사용해 GNN 해석을 생성 과정으로 재정의한다.
• 서브그래프를 서로 다른 노드 순서로 생성하는 경로들을 통합하기 위해 GFlowNets에 DAG 구조를 도입함으로써 샘플 효율성을 향상시킨다.
• 서브그래프 생성 중에 유효한 부모 상태를 효율적으로 식별하기 위해 컷 정점 행렬을 도입하여 동적 그래프에서의 탐색 복잡도를 감소시킨다.
• 정책 네트워크가 고보상 서브그래프를 최소 분산으로 생성하도록 유도하기 위해 플로우 매칭 목적함수를 활용한다.
• 노드 순서와 간선 추가 동역학을 활용해 메시지 전파 메커니즘과 일치하는 방식으로 연결된 서브그래프를 단계적으로 구축한다.
• 직접 생성된 서브그래프를 마스크로 사용하며, 생성 순서에 기반해 중요도 가중치를 할당한다.

실험 결과

연구 질문

• RQ1 GFlowNets와 같은 생성 프레임워크가 GNN 해석에서 조합 최적화 및 강화 학습 기반 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ2 서로 다른 순서로 동일한 서브그래프를 생성하는 경로들을 통합함으로써 샘플 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 컷 정점 기반 기준이 대규모 GNN 해석에서 확장 가능하고 효율적인 부모 상태 탐색을 가능하게 할 수 있는가?
• RQ4 제안된 방법이 기존 최신 기준 기법들보다 더 높은 충실도와 희박성을 달성하는가?
• RQ5 GFlowNets 기반 접근법이 이산 간선 기반 방법보다 더 직관적이고 연결되어 있으며 인간이 이해할 수 있는 서브그래프를 생성할 수 있는가?

주요 결과

• BA-Shape 데이터셋에서 GFlowExplainer는 0.99의 정확도를 기록하여 SubgraphX와 동일하며, DEGREE(0.94)를 능가한다.
• BA-Community 데이터셋에서 GFlowExplainer는 0.94의 정확도를 기록하여 SubgraphX(0.93)와 유사하며, DEGREE(0.95)보다 우수하다.
• 이 방법은 뛰어난 충실도와 희박성을 보이며, 정량적 결과에서 설명과 모델 예측 간 강력한 일치를 보여준다.
• Graph-SST2와 MUTAG에서의 정성적 결과는 GFlowExplainer가 연결되어 있고 의미적으로 유의미한 서브그래프를 생성하여 인간의 직관과 일치함을 보여준다.
• 컷 정점 행렬은 계산 오버헤드를 감소시키고 학습 속도를 향상시켜 대규모 환경에서의 효율적 적용을 가능하게 한다.
• GFlowExplainer는 사전 훈련이 필요 없으며, 플로우 매칭과 경로 통합을 통해 몬테카를로 트리 탐색의 높은 분산 문제를 해결한다.