[논문 리뷰] On the Equivalence between Positional Node Embeddings and Structural Graph Representations

Balasubramaniam Srinivasan, Bruno Ribeiro|arXiv (Cornell University)|2019. 10. 01.

Advanced Graph Neural Networks인용 수 24

한 줄 요약

이 논문은 불변성 이론을 통해 위치 기반 노드 임베딩과 구조적 그래프 표현 간의 이론적 동치성을 확립하며, 이들이 수학적으로 이중적임을 보여주며 상호 작업 이동 가능성을 가능하게 한다. 이는 분포와 그 표본과 유사하다. 모든 노드 임베딩으로 해결 가능한 작업이 구조적 표현으로도 해결 가능하며 그 반대도 마찬가지이며, 이러한 표현에 대한 이행적/비이행적 학습이 본질적인 특성이 아니라는 오해를 해소하고, 임베딩 구축을 위한 새로운 실용적 지침을 제공한다.

ABSTRACT

This work provides the first unifying theoretical framework for node (positional) embeddings and structural graph representations, bridging methods like matrix factorization and graph neural networks. Using invariant theory, we show that the relationship between structural representations and node embeddings is analogous to that of a distribution and its samples. We prove that all tasks that can be performed by node embeddings can also be performed by structural representations and vice-versa. We also show that the concept of transductive and inductive learning is unrelated to node embeddings and graph representations, clearing another source of confusion in the literature. Finally, we introduce new practical guidelines to generating and using node embeddings, which fixes significant shortcomings of standard operating procedures used today.

연구 동기 및 목표

• 노드 임베딩과 구조적 그래프 표현 간의 관계에 관해 오랫동안 애매하게 여겨진 문헌의 혼란을 해결하기 위해.
• 행렬 분해, 워드 임베딩, 그래프 신경망을 동일한 수학적 기반 아래 통합하는 이론적 프레임워크를 수립하기 위해.
• 이행적 및 비이행적 학습이 노드 임베딩 또는 구조적 표현의 본질적인 특성이 아니라는 것을 명확히 하기 위해.
• 현재 표준 운영 절차를 넘어서는 경험적으로 기반을 둔 새로운 지침을 제공하기 위해, 노드 임베딩의 생성과 활용을 위한 새로운 지침을 마련하기 위해.

제안 방법

• 불변성 이론을 사용하여 구조적 표현(불변량으로서)과 노드 임베딩(분포의 표본으로서) 간의 이중성을 수식화하기 위해.
• 기초적인 반대 조건 추론을 적용하여 노드 임베딩과 구조적 표현 간의 기능적 동치성을 분석하기 위해.
• 노드 임베딩을 잠재 변수 모델에서 표본으로서 수식화하고, 구조적 표현을 이러한 표본들에 대한 순열 불변 함수로 정의하기 위해.
• 노드의 부분 집합에 대한 평균을 취하는 몬테카를로 샘플링 기반 방법을 도입하여 노드 임베딩에서 구조적 표현을 추정하기 위해.
• 순열 불변 함수와 재매개변수화를 사용하여 노드 임베딩을 구조적 표현으로 변환하는 알고리즘(알고리즘 2)과 그 반대 방향으로 변환하는 알고리즘(알고리즘 1)을 설계하기 위해.
• Citeseer 및 기타 데이터셋을 사용하여 노드 분류, 링크 예측, 삼중체 예측 작업에서 실험을 통해 프레임워크를 검증하기 위해.

실험 결과

연구 질문

• RQ1 위치 기반 노드 임베딩과 구조적 그래프 표현 간에 근본적인 이론적 동치성이 존재하는가?
• RQ2 노드 임베딩으로 수행할 수 있는 모든 작업이 구조적 표현으로도 수행 가능하며, 그 반대도 마찬가지인가?
• RQ3 그래프 신경망은 표현력 있는 구조적 표현을 갖추고 있음에도 불구하고 링크 예측에서 실패하는 이유는 무엇인가?
• RQ4 노드 임베딩과 구조적 표현의 맥락에서 이행적/비이행적 학습의 구분은 의미 있는가?
• RQ5 강건하고 효과적인 노드 임베딩을 생성하기 위한 올바른 설계 원칙은 무엇인가?

주요 결과

• 노드 임베딩으로 해결 가능한 모든 작업이 구조적 표현으로도 해결 가능하며, 그 반대도 마찬가지다. 이는 표본과 분포로서의 이중성 덕분이다.
• 20개의 몬테카를로 샘플을 사용한 MC-SVD 방법이 Citeseer에서 노드 분류 작업에서 최고의 마이크로-F1 스코어 0.737 ± 0.005를 기록했으며, GIN 및 RP-GIN 모델을 모두 초월했다.
• 20개의 샘플을 사용한 CGNN은 링크 예측 F1 스코어 0.654 ± 0.049를 기록하여 표준 GNN보다 유의미하게 뛰어나, 구조적 표현 추정의 가치를 입증했다.
• 1-2-3 GNN 모델은 모든 작업에서 빈약한 성능을 보였으며, 노드 분류 F1은 단지 0.189 ± 0.026에 그쳤다. 이는 난이도 높은 GNN 아키텍처의 한계를 드러냈다.
• 몬테카를로 샘플링을 통해 노드 임베딩에서 파생된 구조적 표현은 특히 링크 예측과 노드 분류에서 일관된 성능 향상을 보였다.
• 이론적 분석과 경험적 결과를 통해 이행적 대비 비이행적 학습의 개념은 노드 임베딩이나 구조적 표현에 내재된 특성이 아니라는 점이 입증되었다.