[논문 리뷰] Task-Agnostic Graph Explanations

Yaochen Xie, Sumeet Katariya외 5명|arXiv (Cornell University)|2022. 02. 16.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 하류 작업에 대한 접근 없이 자기지도 학습을 통해 그래프 임베딩 설명을 학습하는 작업에 종속되지 않는 GNN 설명기 Tage를 제안한다. 이는 다중 작업 GNN 모델과 개별 임베딩 차원에 대해 효율적이고 통합된 설명을 가능하게 하며, 특히 다중 작업 환경에서 기존의 작업별 기반 보다 뛰어난 설명 품질과 훨씬 감소된 추론 시간을 달성한다. Tage는 기존의 작업별 기반 보다 뛰어난 성능을 보이며, GNNExplainer와 PGExplainer와 같은 기준 모델을 초월한다.

ABSTRACT

Graph Neural Networks (GNNs) have emerged as powerful tools to encode graph-structured data. Due to their broad applications, there is an increasing need to develop tools to explain how GNNs make decisions given graph-structured data. Existing learning-based GNN explanation approaches are task-specific in training and hence suffer from crucial drawbacks. Specifically, they are incapable of producing explanations for a multitask prediction model with a single explainer. They are also unable to provide explanations in cases where the GNN is trained in a self-supervised manner, and the resulting representations are used in future downstream tasks. To address these limitations, we propose a Task-Agnostic GNN Explainer (TAGE) that is independent of downstream models and trained under self-supervision with no knowledge of downstream tasks. TAGE enables the explanation of GNN embedding models with unseen downstream tasks and allows efficient explanation of multitask models. Our extensive experiments show that TAGE can significantly speed up the explanation efficiency by using the same model to explain predictions for multiple downstream tasks while achieving explanation quality as good as or even better than current state-of-the-art GNN explanation approaches. Our code is pubicly available as part of the DIG library at https://github.com/divelab/DIG/tree/main/dig/xgraph/TAGE/.

연구 동기 및 목표

• 기존의 작업별 기반 GNN 설명기들이 다중 작업 및 자기지도 학습 환경에서 효율성이 떨어지고 적용이 어려운 문제를 해결하기 위해.
• 재학습 없이도 하나의 설명기가 여러 하류 작업을 설명할 수 있도록 하여 확장성과 구현 효율성을 향상시키기 위해.
• 하류 작업의 레이블이나 예측 결과가 필요 없는 GNN 임베딩 설명기의 자기지도 학습 프레임워크를 개발하기 위해.
• 하류 모델에 의존하지 않고도 신뢰성 있고 희소하며 해석 가능한 개별 GNN 임베딩 차원에 대한 설명을 제공하기 위해.
• 수백 개의 하류 작업이 존재하는 실세계 그래프 데이터셋에서, 각 작업별로 설명기를 재학습하는 것이 비현실적인 상황에서 설명의 시간 비용을 줄이기 위해.

제안 방법

• GNN 모델을 GNN 임베딩 모델과 하류 예측 헤드로 분해하고, 각 구성 요소에 대해 별도의 설명기를 학습한다.
• 하류 작업에 종속되지 않는 임베딩 설명기(Tage)를 설계하며, 이는 그래프 또는 노드 임베딩 기반의 자기지도 대비 목적 함수를 사용해 학습한다.
• 특정 임베딩 차원을 설명하기 위해 원-핫 벡터를 조건으로 사용하는 조건부 입력 메커니즘을 설계한다.
• 원본 및 변형된 부분그래프 간의 인스턴스 수준 대비 학습을 통해 설명의 정확도와 희소성 최적화를 위해 설명기를 학습한다.
• 다른 하류 모델에 조건을 주어 동일한 학습된 임베딩 설명기를 사용해 여러 하류 작업을 설명한다.
• 정확도 점수와 엣지 중요도 순위를 사용해 설명 품질을 평가하며, 빨간색으로 강조된 엣지는 상위 10퍼센트 중요 엣지를 나타낸다.

실험 결과

연구 질문

• RQ1 하류 작업에 대한 지식 없이도 단일 GNN 설명기가 여러 하류 작업에 대해 높은 품질의 설명을 생성할 수 있는가?
• RQ2 정확도와 희소성 측면에서 작업에 종속되지 않는 설명기의 성능이 작업별 기반 기준 모델보다 어떻게 비교되는가?
• RQ3 하류 예측에 의존하지 않고도 제안된 설명기가 개별 GNN 임베딩 차원에 대해 의미 있는 설명을 제공할 수 있는가?
• RQ4 각 작업별로 설명기를 재학습하는 것에 비해, 단일 작업에 종속되지 않는 설명기를 여러 하류 작업에 적용했을 때의 계산 효율성 향상은 어떠한가?
• RQ5 하류 모델이 비단사상적일 경우, 최종 예측 결과가 아닌 임베딩 기반 자기지도 학습이 설명 일관성 측면에서 더 나은 성능을 내는가?

주요 결과

• Tage는 동일한 파라미터 수를 가진 GNNExplainer나 PGExplainer와 같은 작업별 기반 기준 모델보다 더 높은 설명 정확도와 희소성을 달성한다.
• 다중 작업 환경(T > 1)에서, 각 작업별로 별도로 학습이 필요한 GNNExplainer나 PGExplainer에 비해 Tage는 설명 시간 비용을 크게 줄였다.
• Tage는 기존 기준 모델이 산산이 흩어진 엣지 선택을 보이는 것과 달리, 연결된 부분 구조(예: 분자 내 기능기)를 강조하여 더 일관성 있는 설명을 생성한다.
• 하류 작업이 전혀 없이도 설명기가 개별 임베딩 차원에 대해 의미 있는 설명을 성공적으로 생성함으로써, 학습된 표현의 해석 가능성을 입증한다.
• 임베딩 차원을 설명할 때도 정확도 점수가 높게 유지되며, 이는 설명이 하류 예측 작업과 일관되고 관련성이 있음을 시사한다.
• 특히 하류 모델이 비단사상적일 경우, 유사한 예측 결과가 서로 다른 임베딩에서 유도될 수 있기 때문에, 임베딩 기반 자기지도 학습 목적 함수가 작업 기반 목적 함수보다 더 강력한 지도를 제공함을 확인했다.