[논문 리뷰] Labeling Trick: A Theory of Using Graph Neural Networks for Multi-Node Representation Learning

Muhan Zhang, Pan Li외 3명|arXiv (Cornell University)|2020. 10. 30.

Advanced Graph Neural Networks참고 문헌 45인용 수 59

한 줄 요약

이 논문은 노드 세트에 대한 표현력 있는 공동 표현을 학습하도록 GNN을 가능하게 하는 라벨링 트릭을 도입하고, 이론적 보장(Theorem 1 및 관련 결과)을 입증하며 SEAL의 효과가 라벨링에서 비롯됨을 보여준다. 이는 기존의 노드-레이블링 접근법을 하나로 통합하고, 로컬 동형성 및 OGBL 데이터셋에서의 실험을 통해 실용성을 분석한다.

ABSTRACT

In this paper, we provide a theory of using graph neural networks (GNNs) for multi-node representation learning (where we are interested in learning a representation for a set of more than one node, such as link). We know that GNN is designed to learn single-node representations. When we want to learn a node set representation involving multiple nodes, a common practice in previous works is to directly aggregate the single-node representations obtained by a GNN into a joint node set representation. In this paper, we show a fundamental constraint of such an approach, namely the inability to capture the dependence between nodes in the node set, and argue that directly aggregating individual node representations does not lead to an effective joint representation for multiple nodes. Then, we notice that a few previous successful works for multi-node representation learning, including SEAL, Distance Encoding, and ID-GNN, all used node labeling. These methods first label nodes in the graph according to their relationships with the target node set before applying a GNN. Then, the node representations obtained in the labeled graph are aggregated into a node set representation. By investigating their inner mechanisms, we unify these node labeling techniques into a single and most general form -- labeling trick. We prove that with labeling trick a sufficiently expressive GNN learns the most expressive node set representations, thus in principle solves any joint learning tasks over node sets. Experiments on one important two-node representation learning task, link prediction, verified our theory. Our work explains the superior performance of previous node-labeling-based methods, and establishes a theoretical foundation of using GNNs for multi-node representation learning.

연구 동기 및 목표

• 단일 노드 GNN 임베딩을 직접 집계하여 다중 노드 예측 작업에 대해 구조적 표현을 얻는 데 있어 근본적인 한계점을 식별한다.
• GNN을 사용하여 노드 집합 표현을 학습하기 위한 일관된 이론(라벨링 트릭)을 개발한다.
• 라벨링 트릭이 가장 표현력 있는 구조적 표현을 산출하는 조건을 확립한다(Theorem 1).
• SEAL, DE, DRNL 등 기존 라벨링 방식과의 연계를 분석하고 로컬 동형성과 같은 실용적 설정으로 이론을 확장한다.
• 이론을 입증하기 위해 링크 예측 작업에서의 실증 검증을 제공한다.

제안 방법

• 라벨링 트릭을 그래프와 함께 라벨링 텐서를 스택하여 표식된 그래프를 형성하고, 대상 노드 구분성과 순열 등가성을 보장한다.
• 대상 노드 집합을 구분하는 간단하고 유효한 라벨링 트릭으로 제로-원 라벨링을 도입한다.
• 정리 1: 노드-가장 표현력이 강한 GNN과 집합 집계가 삽입 가능한 라벨링 그래프에서 구조적 표현을 생성함을 보인다.
• 정리 2: 명시적 속성이 없는 그래프에서 라벨링 트릭을 사용하면 1-WL GNN으로는 구별할 수 없는 다수의 비동등한 링크를 구별할 수 있음을 보인다(1-WL 만으로는 불가능).
• SEAL이 DRNL 라벨링을 통해 둘러싸인 부분 그래프에서 라벨링 트릭을 사용하고 이를 이론(정리 3)과 관련지어 설명한다.
• DE(거리 인코딩), 이질 그래프, 로컬 동형성과 같은 실용적 개선으로의 확장에 대해 논의한다.

실험 결과

연구 질문

• RQ1 단일 노드 GNN 임베딩을 직접 집계하는 것이 노드 세트에 대한 구조적 표현을 생성할 수 있는가?
• RQ2 라벨링 트릭이 노드-단위 GNN이 노드 세트에 대한 가장 표현력이 강한 공동 표현을 학습하도록 하는가?
• RQ3 SEAL 및 다른 라벨링 기반 방법들이 라벨링 트릭 프레임워크에 어떻게 들어맞나?
• RQ4 학습에서 로컬 동형성과 정확한 동형성의 차이가 노드 세트 표현에 어떤 영향을 미치는가?
• RQ5 라벨링 트릭은 링크 예측 작업 및 이질 그래프에서 실무적으로 어떻게 작동하는가?

주요 결과

• GAE로 노드 표현을 직접 집계해도 매우 표현력 있는 노드 임베딩을 갖고 있어도 구조적 링크 표현을 학습할 수 없다.
• 라벨링 트릭은 노드-가장 표현력이 강한 GNN이 라벨링된 그래프와 삽입 가능한 집합 집계를 통해 노드 세트의 구조적 표현을 학습하도록 한다(Theorem 1).
• 비속성 그래프에서 1-WL GNN만으로는 구별되지 않는 많은 링크 쌍이 라벨링 트릭으로 구별 가능함(정리 2).
• SEAL의 DRNL 라벨링 사용은 라벨링 트릭의 한 예로서 GAE에 비해 실험적 이점을 설명한다(정리 3).
• 이 프레임워크는 DE, 이질 그래프, 로컬 동형성과 같은 실용적 개념으로 일반화되며 다중 노드 학습을 위한 이론적 토대를 제공한다.