[논문 리뷰] Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities

Takeshi Itoh, Takatomi Kubo외 1명|arXiv (Cornell University)|2021. 03. 02.

Advanced Graph Neural Networks참고 문헌 85인용 수 29

한 줄 요약

이 논문은 다층 메시지 전달 레이어에서의 주의 기반 그래프 표현을 학습하고 집계함으로써 그래프 수준 분류 성능을 향상시키는 GNN 아키텍처인 다중 수준 주의 풀링(Multi-Level Attention Pooling, MLAP)을 제안한다. 계층별 구조 정보를 유지하고 가중치 또는 합산 집계를 통해 통합함으로써 MLAP은 표현의 구분 능력을 향상시키고, 특히 그래프 정규화와 같은 정규화 기법과 조합할 경우 분자 및 합성 그래프 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) have been widely used to learn vector representation of graph-structured data and achieved better task performance than conventional methods. The foundation of GNNs is the message passing procedure, which propagates the information in a node to its neighbors. Since this procedure proceeds one step per layer, the range of the information propagation among nodes is small in the lower layers, and it expands toward the higher layers. Therefore, a GNN model has to be deep enough to capture global structural information in a graph. On the other hand, it is known that deep GNN models suffer from performance degradation because they lose nodes' local information, which would be essential for good model performance, through many message passing steps. In this study, we propose multi-level attention pooling (MLAP) for graph-level classification tasks, which can adapt to both local and global structural information in a graph. It has an attention pooling layer for each message passing step and computes the final graph representation by unifying the layer-wise graph representations. The MLAP architecture allows models to utilize the structural information of graphs with multiple levels of localities because it preserves layer-wise information before losing them due to oversmoothing. Results of our experiments show that the MLAP architecture improves the graph classification performance compared to the baseline architectures. In addition, analyses on the layer-wise graph representations suggest that aggregating information from multiple levels of localities indeed has the potential to improve the discriminability of learned graph representations.

연구 동기 및 목표

• 과도한 스무딩으로 인한 깊은 GNN의 성능 저하 문제를 해결하기 위해 국소적인 구조 정보가 소실되는 것을 방지하기 위해.
• 그래프 내 다수의 국소성 수준에서의 정보를 통합함으로써 그래프 표현의 구분 능력을 향상시키기 위해.
• 기본 GNN 백본을 수정하지 않고도 그래프 수준 분류 성능을 향상시키는 일반화 가능한 아키텍처를 개발하기 위해.
• 각 계층에서 주의 기반 풀링이 단일 계층 풀링보다 국소적 및 전반적 구조 패턴을 더 잘 유지하고 활용할 수 있는지 탐색하기 위해.

제안 방법

• 메시지 전달 레이어 이후에 주의 풀링 레이어를 도입하여 각 계층의 그래프 표현을 계산한다.
• 노드에 대한 중요도 점수를 할당할 수 있는 학습 가능한 주의 메커니즘을 사용하여 정보가 풍부한 하위 구조를 선택적으로 집계한다.
• 합산 또는 학습 가능한 가중치 풀링을 통해 계층별 그래프 표현을 집계하여 최종 그래프 수준 표현을 생성한다.
• GCN, GIN, GAT 등의 다양한 GNN 백본과 그래프 정규화(GraphNorm)와 같은 정규화 기법과 호환되는 방식으로 집계 메커니즘을 적용한다.
• 점프 지식 네트워크를 영감으로 삼아 계층 간의 국소성 수준을 동적으로 선택할 수 있는 계층적 집계 전략을 설계한다.
• 모듈러하고 확장 가능한 아키텍처를 설계하여 다단계 학습 및 합산과 가중치 풀링 이외의 대체 집계 함수를 지원한다.

실험 결과

연구 질문

• RQ1 단일 계층 풀링 대비 GNN의 다수 계층에서의 그래프 표현을 집계함으로써 분류 성능 향상이 가능한가?
• RQ2 주의 풀링을 통한 계층별 표현 유지가 깊은 GNN에서 국소적 구조 정보 손실을 완화하는가?
• RQ3 기존의 집계 방법인 점프 지식(Jumping Knowledge, JK)과 비교할 때 MLAP의 구분 능력과 성능은 어떠한가?
• RQ4 GraphNorm과 같은 정규화 기법과 MLAP을 통합하면 모델의 일반화 능력이 더욱 향상되는가?
• RQ5 합산과 가중치 풀링 등의 다양한 집계 전략이 학습 안정성과 성능에 미치는 영향은 어떠한가?

주요 결과

• MLAP은 MCF-7 및 합성 데이터셋에서 기존의 기준 GNN 및 JK 집계 방법보다 분류 정확도를 크게 향상시켰다.
• 특히 그래프 정규화와 조합할 경우 성능 향상이 두드러지며, MLAP + GraphNorm는 단순한 GNN + GraphNorm 및 JK + GraphNorm보다 뛰어난 성능을 기록했다.
• t-SNE 시각화 결과 MLAP의 계층별 표현이 더 구분 능력이 뛰어나 긍정 및 부정 샘플 간의 분리가 뚜렷하게 나타났다.
• MLAP-Weighted는 일부 데이터셋에서 MLAP-Sum보다 성능이 열 劣했으며, 이는 학습 가능한 가중치가 학습 안정성에 악영향을 줄 수 있음을 시사한다.
• 다양한 GNN 백본 및 정규화 기법과 호환되어 넓은 적용 가능성을 보이며 기존 모델에의 통합 잠재력을 입증했다.
• 분석 결과 다수의 국소성 수준에서의 표현을 집계함으로써 학습된 그래프 임베딩의 구분 능력이 향상됨을 확인하였으며, 이는 본 방법의 핵심 가정을 지지한다.