[논문 리뷰] Topology-Aware Graph Pooling Networks

Hongyang Gao, Yi Liu외 1명|arXiv (Cornell University)|2020. 10. 19.

Advanced Graph Neural Networks참고 문헌 32인용 수 7

한 줄 요약

이 논문은 그래프 분류 벤치마크에서 최고 성능을 기록하며 최소한의 파라미터 오 overhead 를 유지하면서, 그래프의 국소적 및 전반적 그래프 구조를 노드 순위 매기기에서 명시적으로 통합함으로써 그래프 신경망 성능을 햖थ하는 구조 인식 풀링(TAP) 레이어를 제안한다. 이 방법은 국소 투표(노드 이웃 유사성 기반)와 전역 투표(학습 가능한 투영 기반)의 이중 단계 투표 메커니즘을 사용하며, 그래프 연결성 항목을 추가하여 다운샘플링된 그래프의 연결성을 향상시킨다. 이로 인해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Pooling operations have shown to be effective on computer vision and natural language processing tasks. One challenge of performing pooling operations on graph data is the lack of locality that is not well-defined on graphs. Previous studies used global ranking methods to sample some of the important nodes, but most of them are not able to incorporate graph topology. In this work, we propose the topology-aware pooling (TAP) layer that explicitly considers graph topology. Our TAP layer is a two-stage voting process that selects more important nodes in a graph. It first performs local voting to generate scores for each node by attending each node to its neighboring nodes. The scores are generated locally such that topology information is explicitly considered. In addition, graph topology is incorporated in global voting to compute the importance score of each node globally in the entire graph. Altogether, the final ranking score for each node is computed by combining its local and global voting scores. To encourage better graph connectivity in the sampled graph, we propose to add a graph connectivity term to the computation of ranking scores. Results on graph classification tasks demonstrate that our methods achieve consistently better performance than previous methods.

연구 동기 및 목표

• 기존 그래프 풀링 방법이 노드 순위 매기기에서 그래프 구조를 명시적으로 표현하지 못하는 한계를 해결하기 위해.
• 국소적 이웃 구조와 전반적 그래프 구조를 모두 통합함으로써 그래프 다운샘플링 품질을 향상시키기 위해.
• 다운샘플링된 그래프에서 고립된 노드의 위험을 줄이기 위해 연결성 정규화 항목을 도입하기 위해.
• 확장 가능하고 파라미터 효율적인 풀링 메커니즘을 개발하여 그래프 신경망 성능을 향상시키기 위해.
• 다양한 그래프 데이터셋에서의 분석 및 추론 실험을 통해 제안된 TAP 레이어의 효과성을 검증하기 위해.

제안 방법

• TAP 레이어는 각 노드와 그 이웃 간의 유사도 점수를 내적 어텐션을 사용해 계산함으로써 국소 투표를 수행하고, 이 점수들을 평균하여 국소 중요도를 결정한다.
• 전역 투표는 학습 가능한 투영 벡터를 사용하여 각 노드의 특징 벡터를 스칼라로 투영함으로써 전역 중요도 점수를 계산한다.
• 최종 순위 점수는 국소 및 전역 투표 점수의 가중 조합으로 계산되어 국소 및 전반적 구조 인식을 균형 있게 유지한다.
• 그래프 연결성 항목이 도입되었으며, 노드의 차수를 바이어스로 사용하여 높은 연결성을 가진 노드를 선호하고 다운샘플링된 그래프에서 고립된 컴포넌트를 방지한다.
• TAP 레이어는 보조 링크 예측 목표를 통해 훈련 안정성과 표현 학습을 향상시키기 위해 보조적인 연결성 예측 목표를 포함한 구조 인식 풀링 네트워크(TAPNet)에 통합된다.
• 이 방법은 엔드 투 엔드로 훈련되며, PTC, MUTAG, IMDB-BINARY, REDDIT-BINARY 등의 표준 그래프 분류 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 국소 및 전반적 그래프 구조를 명시적으로 모델링하면 그래프 풀링 작업에서 노드 선택 성능이 향상되는가?
• RQ2 그래프 연결성 항목의 포함 여부가 다운샘플링된 그래프의 품질과 연결성에 어떤 영향을 미치는가?
• RQ3 TAP 레이어에서 국소 구조와 연결성 간의 균형을 조절하는 하이퍼파라미터 λ 의 영향은 무엇인가?
• RQ4 TAP 레이어는 다양한 그래프 분류 데이터셋에서 일관된 성능 향상을 이끌어내는가?
• RQ5 기존의 top-k 및 SortPool 등의 풀링 방법과 비교했을 때 TAP 레이어의 성능 및 파라미터 효율성은 어떠한가?

주요 결과

• REDDIT-BINARY 데이터셋에서 TAP 레이어를 포함하지 않은 TAPNet 대비 TAP 레이어를 포함한 TAPNet이 3.6% 높은 정확도를 기록하여 그 효과를 입증한다.
• 보조 링크 예측을 포함한 TAPNet은 이를 포함하지 않은 TAPNet보다 더 높은 성능을 기록하며, 훈련에 유사도 점수 행렬이 유용함을 확인한다.
• 절단 분석 결과 국소 및 전역 투표 구성 요소가 성능 향상에 기여하며, 국소 및 전역 투표를 제거한 TAPNet w/o LV&GV 는 전체 모델보다 성능이 열 劣하다.
• 연결성 항목의 최적 λ 값은 0.1 이며, 이보다 높은 값은 성능을 떨어뜨리므로, 구조 인코딩이 연결성 바이어스보다 지배해야 한다는 것을 시사한다.
• TAP 레이어는 기준 모델 대비 뿐만 아니라 상당한 성능 향상에도 불구하고 파라미터 수를 2.29%만 추가하여 최소한의 계산 오버헤드를 유지한다.
• 시각화 결과 TAP는 연결성 항목이 없는 TAP보다 더 잘 연결된 다운샘플링된 그래프를 생성하여 고립된 노드 문제를 줄임을 확인한다.