[논문 리뷰] Boosting Graph Structure Learning with Dummy Nodes

Xin Liu, Jay J. Cheng외 2명|arXiv (Cornell University)|2022. 06. 17.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 기존 그래프 속성에 영향을 주지 않으면서 모든 기존 정점에 연결된 더미 노드를 도입하여 그래프 구조 학습을 향상시키는 새로운 방법을 제안한다. 더미 노드는 손실 없고 단형성(edge-to-vertex)의 변환과 그 역변환을 가능하게 하여 국소적 및 전역적 구조를 유지하며, 선형 계산 비용으로 그래프 커널과 GNN에서 그래프 분류 및 부분그래프 동형성 작업의 성능을 향상시킨다.

ABSTRACT

With the development of graph kernels and graph representation learning, many superior methods have been proposed to handle scalability and oversmoothing issues on graph structure learning. However, most of those strategies are designed based on practical experience rather than theoretical analysis. In this paper, we use a particular dummy node connecting to all existing vertices without affecting original vertex and edge properties. We further prove that such the dummy node can help build an efficient monomorphic edge-to-vertex transform and an epimorphic inverse to recover the original graph back. It also indicates that adding dummy nodes can preserve local and global structures for better graph representation learning. We extend graph kernels and graph neural networks with dummy nodes and conduct experiments on graph classification and subgraph isomorphism matching tasks. Empirical results demonstrate that taking graphs with dummy nodes as input significantly boosts graph structure learning, and using their edge-to-vertex graphs can also achieve similar results. We also discuss the gain of expressive power from the dummy in neural networks.

연구 동기 및 목표

• 기존 그래프 구조 학습 방법의 한계를 해결하기 위해 히우리스틱 또는 경험적으로 조정된 전략에 의존하는 것이 아니라 이론적 기반을 갖춘 방법이 필요하다는 점을 다루기 위해.
• 특수하게 설계된 더미 노드가 그래프의 엣지에서 정점으로의 손실 없는, 구조를 유지하는 변환을 가능하게 하는지 탐구하기 위해.
• 더미 노드를 활용하여 그래프 커널과 그래프 신경망을 확장하여 복잡한 부분그래프 구조를 더 잘 포착할 수 있도록 하기 위해.
• 제안된 방법의 효과성을 그래프 분류 및 부분그래프 동형성 매칭 작업에서 실증적으로 검증하기 위해.
• 메시지 전달 신경망과 트랜스포머에 더미 노드를 통합했을 때 표현력이 어떻게 향상되는지 분석하기 위해.

제안 방법

• 기존 정점들과의 연결을 유지하면서 모든 기존 정점에 연결된 더미 노드를 도입하여 원래 그래프의 정점 및 엣지 성질을 그대로 유지한다.
• 구조적 통합성을 유지하면서 엣지를 정점으로 매핑하는 효율적인 단형성 엣지-버티스 변환 $ L_{\Phi} $ 를 설계한다.
• 변환된 그래프에서 원래 그래프를 복원할 수 있는 에피모르픽 역변환 $ L_{\Phi}^{-1} $ 를 구축한다.
• 엣지-버티스 변환을 적용하여 정점 중심의 그래프 커널과 GNN을 확장하여, 엣지 기반의 부분구조를 암묵적으로 학습할 수 있도록 한다.
• GNN과 그래프 커널에 더미 노드를 통합하면서도 엣지 수에 비례하는 선형 시간 복잡도를 유지한다.
• 변환된 그래프 $ \mathcal{H}_{\Phi} $ 를 GNN과 그래프 커널의 입력으로 사용하여, 구조 민감한 작업에서 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 모든 정점에 연결된 더미 노드가 그래프의 구조를 유지하면서 엣지에서 정점으로의 손실 없는 변환을 가능하게 할 수 있는가?
• RQ2 제안된 엣지-버티스 변환과 그 역변환은 원래 그래프의 위상적 및 부분구조적 성질을 유지하는가?
• RQ3 더미 노드를 통합할 경우 그래프 커널과 GNN의 그래프 분류 및 부분그래프 동형성 작업 성능 향상 정도는 어느 정도인가?
• RQ4 더미 노드를 통합한 메시지 전달 신경망의 표현력은 어떻게 변화하는가?
• RQ5 CLS 토큰(더미 노드에 유사한)을 갖는 트랜스포머는 표준 GNN보다 더 높은 표현력을 가지는가?

주요 결과

• 제안된 엣지-버티스 변환 $ L_{\Phi} $ 는 단형성이고 손실 없으며, 잘 정의된 역변환 $ L_{\Phi}^{-1} $ 를 통해 원래 그래프를 복원할 수 있다.
• 더미 노드가 포함된 그래프들은 그래프 분류 및 부분그래프 동형성 매칭에서 성능 향상이著명하며, HGT는 GED에서 상대 오차를 49.59% 감소시켰다.
• DMPNN-LRP는 동질적 데이터에서 가장 낮은 오차를 기록하지만, 선형 그래프를 통한 엣지 표현 학습의 과제로 인해 이질적 그래프에서는 성능이 저하된다.
• 역방향 엣지와 더미 노드의 조합은 성능 향상에 기여하며, 특히 RGIN에서 두드러진다. 그러나 DMPNN 및 DMPNN-LRP의 주요 성능 향상 요인은 주로 역방향 엣지에 기인한다.
• 더미 노드를 통합한 MPNNs는 2-WL을 초월하는 표현력을 확보하며, 표준 GNN이 1-WL 또는 2-WL 표현력에 국한되는 것과는 대비된다.
• CLS 토큰(더미 노드에 유사한)을 갖는 트랜스포머는 2-WL을 초월하는 표현력을 기대할 수 있으며, 12층 모델은 크기 12,288까지의 패턴을 포착할 수 있다.