[논문 리뷰] Towards Prototype-Based Self-Explainable Graph Neural Network

Enyan Dai, Suhang Wang|arXiv (Cornell University)|2022. 10. 05.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 각 클래스에 대한 대표적 프로토타입 그래프를 학습하여 정확한 예측과 해석 가능한, 프로토타입 기반 설명을 동시에 가능하게 하는 프로토타입 기반 자기해석 가능한 그래프 신경망인 PxGNN을 제안한다. 자기지도 학습과 임bedding 정규화를 통해 그래프 복원과 분류를 동시에 최적화하는 프로토타입 생성기로 인해, PxGNN은 실제 및 합성 데이터셋에서 정확도와 설명 품질 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have shown great ability in modeling graph-structured data for various domains. However, GNNs are known as black-box models that lack interpretability. Without understanding their inner working, we cannot fully trust them, which largely limits their adoption in high-stake scenarios. Though some initial efforts have been taken to interpret the predictions of GNNs, they mainly focus on providing post-hoc explanations using an additional explainer, which could misrepresent the true inner working mechanism of the target GNN. The works on self-explainable GNNs are rather limited. Therefore, we study a novel problem of learning prototype-based self-explainable GNNs that can simultaneously give accurate predictions and prototype-based explanations on predictions. We design a framework which can learn prototype graphs that capture representative patterns of each class as class-level explanations. The learned prototypes are also used to simultaneously make prediction for for a test instance and provide instance-level explanation. Extensive experiments on real-world and synthetic datasets show the effectiveness of the proposed framework for both prediction accuracy and explanation quality.

연구 동기 및 목표

• 고위험 응용 분야(예: 신약 개발 및 금융 분석)에서 GNN의 해석 가능성 부족 문제를 해결하기 위해.
• 후행 해석 도구에 의존하지 않고도 정확한 예측과 충실한 프로토타입 기반 설명을 제공하는 자기해석 가능한 GNN 프레임워크를 개발하기 위해.
• 클래스 수준 및 인스턴스 수준의 설명을 위해 각 클래스의 핵심 구조적 및 특징 패턴을 반영하는 고품질의 대표적 프로토타입 그래프를 학습하기 위해.
• 자기지도 학습과 임베딩 정규화를 통합하여 프로토타입 생성 과정이 유연하고 확장 가능하며 강건하도록 보장하기 위해.

제안 방법

• 각 클래스에 대해 잠재 공간에서부터 실제적인 프로토타입 그래프를 학습하고 생성하는 프로토타입 생성 네트워크를 도입한다.
• 프로토타입 생성기를 훈련시키기 위해 그래프 복원 손실을 통한 자기지도 학습을 사용하여 생성된 프로토타입의 품질과 현실성 향상.
• 프로토타입 임베딩이 원하는 잠재 공간 내에 머무르도록 제약 항을 도입하여 프로토타입의 구조적 및 의미적 충실도 확보.
• 교차 엔트로피와 실루엣 기반의 다양성 감독을 조합한 다중 과제 손실 함수를 사용하여 분류 정확도와 프로토타입 품질을 동시에 최적화.
• 테스트 그래프를 가장 유사한 프로토타입 그래프와 매칭하여 인스턴스 수준의 설명을 생성하며, 설명은 해당 테스트 인스턴스가 가장 유사하게 비슷한 프로토타입을 지칭한다.
• GCN 및 GIN과 같은 다양한 GNN 백본과 결합 가능하여 아키텍처 간의 일반화 성능을 입증한다.

실험 결과

연구 질문

• RQ1 프로토타입 기반 자기해석 가능한 GNN은 어떻게 설계되어야 하며, 동시에 높은 예측 정확도와 높은 품질의 설명을 달성할 수 있는가?
• RQ2 그래프 구조 데이터에서 진정한 클래스 패턴을 반영하는 고품질의 대표적 프로토타입 그래프를 학습하기 위해 필수적인 구성 요소는 무엇인가?
• RQ3 자기지도 학습과 임베딩 정규화는 프로토타입 품질과 전체 모델 성능에 어떤 기여를 하는가?
• RQ4 클래스당 최적의 프로토타입 수는 얼마이며, 이는 모델 정확도와 설명의 다양성에 어떤 영향을 미치는가?
• RQ5 복원 손실 가중치(α) 및 임베딩 정규화 강도(β)와 같은 하이퍼파라미터에 대해 프레임워크는 얼마나 민감한가?

주요 결과

• PxGNN은 Cora, PubMed, Graph-SST2와 같은 실제 데이터셋에서 기존 베이스라인을 능가하는 최신 기술 수준의 성능을 보이며, 노드 및 그래프 분류 정확도에서 모두 뛰어난 성능을 달성한다.
• 클래스당 프로토타입 수가 증가할수록 프로토타입의 실루엣 스코어가 증가하여 다양성과 대표성 향상을 보이며, 정확도는 중간 수준의 프로토타입 수에서 최고를 기록한다.
• 아블레이션 연구 결과, 자기지도 학습(α=0) 또는 임베딩 제약(β=0)을 제거할 경우 정확도와 프로토타입 품질이 심각하게 악화되어 이들이 필수적임을 입증한다.
• 초기화 후 프로토타입 그래프를 고정하는 경우(PxGNN\P) 성능 저하가 심각하게 발생하여, 생성기를 통한 동적 프로토타입 업데이트의 중요성을 입증한다.
• 하이퍼파라미터 민감도 분석 결과, α ∈ [1,10] 및 β ∈ [1,3] 범위에서 최적의 성능을 달성하며, 복원과 분류 목표 간 균형을 잘 맞춘다.
• GCN 백본을 GIN으로 교체해도 PxGNN은 강력한 성능을 유지하여 아키텍처 유연성과 강건성을 확인한다.