[논문 리뷰] Towards Explanation for Unsupervised Graph-Level Representation Learning

Qinghua Zheng, Jihong Wang외 5명|arXiv (Cornell University)|2022. 05. 20.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 정보 버블 원리에 기반한 비지도 그래프 수준 표현을 설명하기 위한 새로운 방법인 비지도 부분그래프 정보 버블(USIB)을 소개한다. 설명용 부분그래프와 표현 간의 상호정보량을 최대화하고 중복을 최소화함으로써, USIB는 특히 합성 데이터에서 최신 기술 수준의 설명 정밀도를 달성하며, 표현의 강건성과 표현력이 설명 품질과 이론적으로 연결됨을 보여준다.

ABSTRACT

Due to the superior performance of Graph Neural Networks (GNNs) in various domains, there is an increasing interest in the GNN explanation problem "\emph{which fraction of the input graph is the most crucial to decide the model's decision?}" Existing explanation methods focus on the supervised settings, \eg, node classification and graph classification, while the explanation for unsupervised graph-level representation learning is still unexplored. The opaqueness of the graph representations may lead to unexpected risks when deployed for high-stake decision-making scenarios. In this paper, we advance the Information Bottleneck principle (IB) to tackle the proposed explanation problem for unsupervised graph representations, which leads to a novel principle, extit{Unsupervised Subgraph Information Bottleneck} (USIB). We also theoretically analyze the connection between graph representations and explanatory subgraphs on the label space, which reveals that the expressiveness and robustness of representations benefit the fidelity of explanatory subgraphs. Experimental results on both synthetic and real-world datasets demonstrate the superiority of our developed explainer and the validity of our theoretical analysis.

연구 동기 및 목표

• GNNs에 의해 생성된 비지도 그래프 수준 표현을 설명하는 데 아직 탐색되지 않은 문제를 해결하기 위해.
• 라벨에 의존하지 않고 표현 결정의 원인이 되는 가장 정보적인 부분그래프를 식별하는 방법을 개발하기 위해.
• 표현 품질(표현력과 강건성)과 설명 정밀도 사이의 이론적 연결을 수립하기 위해.
• 비유클리드인 부분그래프와 유클리드인 표현 간의 설명 공간에서의 비교 과제를 해결하기 위해.
• 제안된 방법의 유효성을 합성 및 실세계 그래프 데이터셋 전반에서 입증하기 위해.

제안 방법

• 표현에 대해 가장 예측 가능한 부분그래프를 식별하기 위해 정보 버블 원리에 기반한 새로운 설명 프레임워크인 USIB를 제안한다.
• 상호정보량을 사용하여 설명 작업을 수식화한다: I(부분그래프; 표현)를 최대화하고 I(부분그래프; 입력 그래프)를 최소화한다.
• 상호정보량의 미분 가능 근사화를 사용하여 경사 하강법을 통해 부분그래프 선택을 최적화한다.
• GNN 인코더와 함께 엔드 투 엔드 학습이 가능한 부분그래프 마스킹 메커니즘을 통합한다.
• 이론적 분석을 통해 표현력 있고 강건한 표현이 더 높은 정밀도의 설명을 낳음을 보여준다.
• 사전 학습 및 미세조정된 GNN에 모두 적용하여 모델 능력 전반에 걸친 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비지도 그래프 수준 표현에 대해 충실도 높고 일반적인 설명 방법을 개발할 수 있는가?
• RQ2 그래프 표현의 표현력과 강건성이 설명용 부분그래프의 정밀도에 어떻게 영향을 주는가?
• RQ3 비지도 설정에서 표현 품질과 설명 품질 사이에 이론적 연결이 존재하는가?
• RQ4 USIB는 합성 및 실세계 그래프에서 기존의 비지도 설명 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 설명기의 성능은 기반 GNN의 능력과 학습 제도에 따라 달라지는가?

주요 결과

• USIB는 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 합성 BA3 데이터셋에서 ACC-AUC에 14.8%의 상대적 향상과 Recall@5에 10.44% 향상을 보였다.
• 실세계 데이터셋(NCI1, PROTEINS)에서도 다른 비지도 설명 방법보다 뛰어나지만, 라벨 감독이 없기 때문에 감독 기반 기준선보다 뒤지게 된다.
• 정확도가 높은 그래프에서 특히 두드러지게, 표현의 표현력(청결한 그래프에서의 정확도)과 설명 정밀도 사이에 강한 정적 상관관계가 있다.
• 표현력의 차이가 작을 때 특히, 노이즈가 있는 그래프에서의 정확도인 강건성 역시 설명 품질과 정적 상관관계를 보인다.
• 정성적 결과에서는 훈련되지 않은 GNN은 기본 그래프 구조에 집중하는 반면, 미세조정된 모델은 '집'이나 '사이클' 같은 의미 있는 무늬에 주목하는 경향을 보였다.
• USIB의 한계는 간선을 개별적으로 처리하여 고차원 구조적 중요도를 간과한다는 점으로, 향후 구조 인지 기반 설명에 대한 연구가 필요하다.