[논문 리뷰] Self-Attention Graph Pooling

Junhyun Lee, Inyeop Lee외 1명|arXiv (Cornell University)|2019. 04. 17.

Advanced Graph Neural Networks참고 문헌 44인용 수 375

한 줄 요약

SAGPool은 GNN을 위한 자기 주의 기반 그래프 풀링 계층을 도입하여 노드 특징과 그래프 토폴로지를 고려하고 엔드-투-엔드의 계층적 그래프 표현을 가능하게 하며 경쟁력 있는 성능을 보여준다. 글로벌 풀링 아키텍처와 계층형 풀링 아키텍처를 여러 데이터셋에서 비교하여 대형 그래프에서 특히 강력한 결과를 보인다.

ABSTRACT

Advanced methods of applying deep learning to structured data such as graphs have been proposed in recent years. In particular, studies have focused on generalizing convolutional neural networks to graph data, which includes redefining the convolution and the downsampling (pooling) operations for graphs. The method of generalizing the convolution operation to graphs has been proven to improve performance and is widely used. However, the method of applying downsampling to graphs is still difficult to perform and has room for improvement. In this paper, we propose a graph pooling method based on self-attention. Self-attention using graph convolution allows our pooling method to consider both node features and graph topology. To ensure a fair comparison, the same training procedures and model architectures were used for the existing pooling methods and our method. The experimental results demonstrate that our method achieves superior graph classification performance on the benchmark datasets using a reasonable number of parameters.

연구 동기 및 목표

• 노드 특징과 토폴로지 모두를 활용한 그래프 풀링 개선 동기를 제시한다.
• 그래프에서 자기 주의를 사용하는 미분 가능하고 확장 가능한 풀링 계층을 개발한다.
• 강력한 베이스라인과 글로벌 및 계층형 풀링 아키텍처에서 SAGPool을 평가한다.
• 입력 그래프 크기에 비해 상대적으로 독립적인 매개변수 수로 높은 정확도를 달성하는 SAGPool의 특성을 보인다.

제안 방법

• 그래프 컨볼루션을 사용한 자기 주의 기반 풀링 계층으로 SAGPool을 정의하고 주의 점수를 계산한다.
• Ã = A + 자기 루프, D는 차수 행렬일 때 Z = sigma(Ã D^{-1/2} Ã D^{-1/2} X Theta_att) 를 계산한다.
• Z로 상위 kN 노드를 선택하여 X_out과 A_out을 형성하고 고정 비율 k의 노드를 유지한다.
• 주목(attention)을 위해 서로 다른 GNN(ChebConv, SAGE, GAT)과 두 홉 연결성(보강, 직렬, 병렬) 변형을 허용한다.
• 기준선(Set2Set, SortPool, DiffPool, gPool)과의 공정한 비교를 위한 글로벌 및 계층형 풀링 아키텍처를 제공한다.
• 입력 그래프 크기에 관계없이 일정한 매개변수 수를 유지한다.

실험 결과

연구 질문

• RQ1 그래프 토폴로지를 통합한 자기 주의 기반 풀링이 그래프 분류 성능을 향상시킬 수 있는가?
• RQ2 SAGPool은 글로벌 아키텍처와 계층형 아키텍처에서 기존 풀링 방법과 어떻게 비교되는가?
• RQ3 토폴로지 인식(attention) 및 두 홉 정보의 활용이 풀링 품질과 효율성에 미치는 영향은 무엇인가?
• RQ4 다양한 GNN 변형, 보강/직렬/병렬, 다중 GNN 평균화 등의 SAGPool 변형이 데이터셋 전반에 걸쳐 성능에 어떤 영향을 미치는가?

주요 결과

• SAGPool g는 D&D에서 76.19% ±0.94, PROTEINS에서 70.04% ±1.47, NCI1에서 74.18% ±1.20, NCI109에서 74.06% ±0.78, FRANKENSTEIN에서 62.57% ±0.60를 글로벌 풀링 아키텍처로 달성했다.
• SAGPool h는 D&D에서 76.45% ±0.97, PROTEINS에서 71.86% ±0.97, NCI1에서 67.45% ±1.11, NCI109에서 67.86% ±1.41, FRANKENSTEIN에서 61.73% ±0.76를 계층형 풀링 아키텍처로 달성했다.
• SAGPool은 일반적으로 데이터셋 전반에서 Set2Set, SortPool, DiffPool, gPool를 능가하며 D&D와 PROTEINS에서 특히 큰 이점을 보인다.
• 주목 점수에서 그래프 토폴로지(정규화된 인접행렬)를 반영하는 것은 GPool과 같은 토폴로지 비의존적 풀링보다 성능을 향상시킨다.
• 두 홉 연결 및 다중 GNN 평균화를 포함한 변형은 데이터셋에 따라 개선을 보이며 SAGPool의 유연성을 추가 이익으로 활용할 수 있음을 시사한다.
• 희소성 및 엔드-투-엔드 학습이 메모리 및 매개변수 특성에 우호적이며, 그래프 크기가 커져도 SAGPool의 매개변수 수가 안정적으로 유지된다.