[논문 리뷰] Graph Pointer Neural Networks

Tianmeng Yang, Yujing Wang외 4명|arXiv (Cornell University)|2021. 10. 03.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 포인터 신경망(GPNN)을 제안한다. GPNN은 각 중심 노드에 대해 국소적이고 원거리의 노드를 선택적으로 식별하고 순위를 매겨 비국소적이고 노이즈에 강건한 특징 집합을 가능하게 하는 새로운 GNN 프레임워크이다. 종단 간 훈련을 통해 포인터 네트워크를 공동 최적화함으로써, GPNN은 깊이 있는 GNN에서 발생하는 과도한 스무딩을 크게 줄이고 이질적 그래프에서 노드 분류 정확도를 향상시켰으며, 최신 기술 대비 평균 6.3% 향상된 성능을 달성하였다.

ABSTRACT

Graph Neural Networks (GNNs) have shown advantages in various graph-based applications. Most existing GNNs assume strong homophily of graph structure and apply permutation-invariant local aggregation of neighbors to learn a representation for each node. However, they fail to generalize to heterophilic graphs, where most neighboring nodes have different labels or features, and the relevant nodes are distant. Few recent studies attempt to address this problem by combining multiple hops of hidden representations of central nodes (i.e., multi-hop-based approaches) or sorting the neighboring nodes based on attention scores (i.e., ranking-based approaches). As a result, these approaches have some apparent limitations. On the one hand, multi-hop-based approaches do not explicitly distinguish relevant nodes from a large number of multi-hop neighborhoods, leading to a severe over-smoothing problem. On the other hand, ranking-based models do not joint-optimize node ranking with end tasks and result in sub-optimal solutions. In this work, we present Graph Pointer Neural Networks (GPNN) to tackle the challenges mentioned above. We leverage a pointer network to select the most relevant nodes from a large amount of multi-hop neighborhoods, which constructs an ordered sequence according to the relationship with the central node. 1D convolution is then applied to extract high-level features from the node sequence. The pointer-network-based ranker in GPNN is joint-optimized with other parts in an end-to-end manner. Extensive experiments are conducted on six public node classification datasets with heterophilic graphs. The results show that GPNN significantly improves the classification performance of state-of-the-art methods. In addition, analyses also reveal the privilege of the proposed GPNN in filtering out irrelevant neighbors and reducing over-smoothing.

연구 동기 및 목표

• 연결된 노드가 특징이나 레이블이 다를 수 있는 이질적 그래프에서 기존 GNN의 한계를 해결하기 위해.
• 깊은 GNN에서 무분별한 이웃 집합으로 인해 발생하는 과도한 스무딩 문제를 극복하기 위해.
• 멀리 떨어져 있지만 의미적으로 관련성이 높은 노드들을 비국소적으로 선택적으로 집계함으로써 노드 표현 학습을 향상시키기 위해.
• 비가역적 순위 매기기 절차로 인한 최적해가 아닌 해를 피하기 위해, 노드 순위 매기기와 최종 작업을 함께 최적화하기 위해.
• 실세계 이질적 그래프 데이터셋에서 기존 방법들을 능가하는 확장 가능하고 효과적인 프레임워크를 개발하기 위해.

제안 방법

• 각 중심 노드 주변의 국소적 및 다단계 이웃에서 노드의 시퀀스를 샘플링한다.
• 포인터 네트워크를 활용해 중심 노드에 대한 관련성 기반으로 샘플링된 노드들을 순위 매기며, 가장 정보가 풍부한 이웃들의 순서가 지정된 시퀀스를 생성한다.
• 순위 매겨진 시퀀스에 1차원 컨볼루션 레이어를 적용하여 고차원의 구조적 및 의미적 특징을 추출한다.
• 기타 GNN 아키텍처와 함께 공동 최적화 가능한 미분 가능하고 종단 간 훈련이 가능한 모듈로 포인터 네트워크를 통합한다.
• 순위 매겨진 이웃 시퀀스의 맥락적 특징과 중심 노드의 에고-특징을 결합하여 최종 노드 표현을 생성한다.
• 백프로파게이션을 통해 노드 선택과 표현 학습을 동시에 개선할 수 있도록, 미분 가능한 순위 매기기 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 비가역적이고 종단 간 훈련이 가능한 포인터 네트워크가, 거리가 먼 경우에도 이질적 그래프에서 가장 관련성이 높은 이웃을 효과적으로 식별할 수 있는가?
• RQ2 포인터 네트워크를 사용한 선택적 비국소 집합이, 깊은 스택을 가진 표준 GNN보다 과도한 스무딩을 줄이는가?
• RQ3 Node2Seq의 어텐션 기반 방법과 비교했을 때, GPNN이 선택한 5개의 가장 관련성 있는 이웃의 동질성 비율은 어떻게 되는가?
• RQ4 최신 기술 대비 GPNN이 실세계 이질적 그래프 벤치마크에서 노드 분류 정확도를 얼마나 향상시키는가?
• RQ5 노드 순위 매기기와 표현 학습의 공동 최적화가, 별도 또는 히우리스틱 순위 매기기 전략보다 더 나은 성능을 낼 수 있는가?

주요 결과

• GPNN는 여섯 개의 공개 이질적 그래프 데이터셋에서 최신 기술 대비 평균 6.3% 향상된 노드 분류 정확도를 달성하였다.
• Chameleon 데이터셋에서는 두 번째로 좋은 방법보다 1.9% 향상되었고, Cornell에서는 3.0% 향상되어 다양한 벤치마크에서 일관된 성능 향상을 보였다.
• GPNN이 선택한 다섯 개의 가장 관련성 있는 이웃의 동질성 비율은 Node2Seq의 어텐션 기반 방법이 선택한 이웃보다 46% 높았으며, 이는 훨씬 우수한 이웃 필터링 능력을 의미한다.
• GPNN는 과도한 스무딩이 크게 감소한 것으로 나타났다: Chameleon 데이터셋에서 레이어 수를 2에서 5로 늘였을 때 테스트 정확도가 6% 뿐 감소한 반면, GCN는 18%, GAT는 33% 감소하였다.
• 포인터 네트워크의 GNN와의 공동 최적화는 비가역적 순위 매기기 방법보다 더 높은 동질성과 정확도 향상을 보여, 더 나은 성능을 낼 수 있음을 입증하였다.
• H2GCN와 Node2Seq는 다단계 이웃 중 관련이 있는지 없는지를 명시적으로 구분하지 않기 때문에 GPNN가 항상 더 뛰어난 성능을 보였으며, 이는 선택적이고 미분 가능한 이웃 선택의 이점임을 확인하였다.