[논문 리뷰] SUGAR: Subgraph Neural Network with Reinforcement Pooling and Self-Supervised Mutual Information Mechanism

Qingyun Sun, Jianxin Li외 5명|arXiv (Cornell University)|2021. 01. 20.

Advanced Graph Neural Networks참고 문헌 53인용 수 25

한 줄 요약

SUGAR는 강화 풀링을 통해 주목할 만한 서브그래프를 적응적으로 선택하는 서브그래프 수준 GNN을 도입하고, 그래프 분류 및 해석가능성을 위한 자기지도 상호정보 목표로 서브그래프 표현을 향상시킨다.

ABSTRACT

Graph representation learning has attracted increasing research attention. However, most existing studies fuse all structural features and node attributes to provide an overarching view of graphs, neglecting finer substructures' semantics, and suffering from interpretation enigmas. This paper presents a novel hierarchical subgraph-level selection and embedding based graph neural network for graph classification, namely SUGAR, to learn more discriminative subgraph representations and respond in an explanatory way. SUGAR reconstructs a sketched graph by extracting striking subgraphs as the representative part of the original graph to reveal subgraph-level patterns. To adaptively select striking subgraphs without prior knowledge, we develop a reinforcement pooling mechanism, which improves the generalization ability of the model. To differentiate subgraph representations among graphs, we present a self-supervised mutual information mechanism to encourage subgraph embedding to be mindful of the global graph structural properties by maximizing their mutual information. Extensive experiments on six typical bioinformatics datasets demonstrate a significant and consistent improvement in model quality with competitive performance and interpretability.

연구 동기 및 목표

• 전역 집계보다 중요한 서브그래프에 초점을 맞춘 그래프 레벨 표현 학습 프레임워크를 개발한다.
• 강화 학습을 사용하여 도메인 지식이 거의 없이도 적응적 서브그래프 선택을 가능하게 한다.
• 상호정보를 통해 전역 그래프 속성과 정렬되도록 서브그래프 임베딩을 향상시킨다.
• 그래프 분류 결정을 주도하는 서브그래프를 식별하여 해석 가능성을 높인다.

제안 방법

• 고차 중심 노드 주변의 서브그래프를 BFS로 샘플링하고 인코딩하여 서브그래프 집합을 형성한다.
• 서브그래프 내 노드 표현을 GNN으로 인코딩하고 서브그래프 내부 어텐션으로 서브그래프 임베딩을 얻는다.
• 강화 학습 기반의 top-k 풀링을 사용하여 가장 주목할 만한 서브그래프를 적응적으로 선택하고 스케치 그래프를 형성한다.
• 스케치된 그래프에 대해 서브그래프 간 어텐션을 구성하여 서브그래프 임베딩을 정제한다.
• 로컬 서브그래프 임베딩과 글로벌 그래프 표현 간의 자기지도 상호정보 목표를 적용하여 전역 인식을 촉진한다.
• 그래프 분류 손실과 MI 기반 정규화 및 표준 L2 정규화를 결합한 공동 손실로 학습한다.

실험 결과

연구 질문

• RQ1 SUGAR가 생물정보학 데이터셋에서 기준 모델 대비 우수한 그래프 분류 성능을 달성할 수 있는가?
• RQ2 서브그래프 인코더 설계와 서브그래프 크기가 SUGAR의 성능에 어떤 영향을 미치는가?
• RQ3 강화 풀링 메커니즘이 성능에 미치는 영향은 무엇인가?
• RQ4 자기지도 상호정보 메커니즘이 표현 품질에 미치는 영향은 무엇인가?
• RQ5 SUGAR가 그래프에서 지배적인 서브그래프를 식별하고 해석할 수 있는가?

주요 결과

• SUGAR는 평균 순위가 낮은 상태에서 여섯 개의 생물정보학 데이터셋에서 최첨단 또는 매우 경쟁력 있는 정확도와 낮은 평균 순위를 달성한다.
• 이 방법은 MUTAG, PTC, PROTEINS, D&D, NCI1, NCI109에서 평균 순위 기준으로 일관되게 1위를 차지한다.
• 강화 풀링은 정보성이 높은 서브그래프를 적응적으로 선택하고 일반화 성능을 향상시킨다.
• 상호 정보 가이드는 전역 그래프 구조와 정렬되는 서브그래프 임베딩을 생성하여 판별력을 높인다.
• SUGAR는 분류 결정의 주된 원인이 되는 서브그래프를 강조하여 해석 가능한 통찰을 제공한다.