[논문 리뷰] Pointer Graph Networks

Petar Veličković, Lars Buesing외 4명|arXiv (Cornell University)|2020. 06. 11.

Advanced Graph Neural Networks인용 수 16

한 줄 요약

포인터 그래프 네트워크(PGNs)는 노드가 서로를 가리키도록 하여 동적이고 희소한 그래프 구조를 미분 가능하고 지도 학습 가능한 방식으로 학습하는 방법을 제안한다. 이를 통해 입력 그래프의 정적 구조에 학습 가능한 포인터 간선을 추가함으로써, 분리 집합 합합과 링크/컷 트리와 같은 복잡한 포인터 기반 데이터 구조를 모델링할 수 있다. 이로 인해 PGNs는 동적 그래프 연결성 작업에서 기존 GNNs와 Deep Sets를 뛰어넘는 5배의 분포 외 일반화 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) are typically applied to static graphs that are assumed to be known upfront. This static input structure is often informed purely by insight of the machine learning practitioner, and might not be optimal for the actual task the GNN is solving. In absence of reliable domain expertise, one might resort to inferring the latent graph structure, which is often difficult due to the vast search space of possible graphs. Here we introduce Pointer Graph Networks (PGNs) which augment sets or graphs with additional inferred edges for improved model generalisation ability. PGNs allow each node to dynamically point to another node, followed by message passing over these pointers. The sparsity of this adaptable graph structure makes learning tractable while still being sufficiently expressive to simulate complex algorithms. Critically, the pointing mechanism is directly supervised to model long-term sequences of operations on classical data structures, incorporating useful structural inductive biases from theoretical computer science. Qualitatively, we demonstrate that PGNs can learn parallelisable variants of pointer-based data structures, namely disjoint set unions and link/cut trees. PGNs generalise out-of-distribution to 5x larger test inputs on dynamic graph connectivity tasks, outperforming unrestricted GNNs and Deep Sets.

연구 동기 및 목표

• GNNs의 정적 그래프 구조의 한계를 해결하기 위해 동적이고 데이터 기반의 그래프 구조 학습을 가능하게 한다.
• 고전적 데이터 구조에서 유도된 인덕티브 바이어스를 통합함으로써 알고리즘 추론 작업에서의 일반화 성능을 향상시킨다.
• 신경망이 분리 집합 합합과 링크/컷 트리와 같은 복잡한 포인터 기반 알고리즘을 학습하고 일반화할 수 있음을 보여준다.
• 모델 표현력을 높이되 계산 효율성을 저하시키지 않는, 지도 학습 기반의 희소하고 효율적인 잠재 그래프 구조 추론 방법을 제공한다.

제안 방법

• PGNs는 인코더, 프로세서, 디코더 네트워크를 조합한 하이브리드 아키텍처를 사용하며, 동적으로 학습된 포인터 간선을 기반으로 단계별 메시지 전달을 수행한다.
• 각 시간 단계에서 각 노드는 미분 가능 라우팅 메커니즘을 통해 다른 노드로의 포인터를 예측하며, 이로 인해 대칭 포인터 인접 행렬 Π(t)가 형성된다.
• 프로세서 네트워크 P는 이전 단계의 포인터 행렬 Π(t−1)을 관계적 인덕티브 바이어스로 사용하여 메시지 전달을 통해 노드 표현을 갱신한다.
• 마스킹 메커니즘은 각 단계에서 어떤 노드가 수정되었는지 식별하여, 모델이 관련 엔티티에 집중하도록 한다.
• 모델는 중간 데이터 구조 상태(예: DSU 또는 LCT 구성)에 직접적인 지도 학습을 통해 훈련되어 고전적 알고리즘 행동과 정확히 일치하도록 한다.
• 디코더는 순열 불변 리더아웃을 통해 노드 표현을 집계하여 세트 수준의 질의에 대한 예측을 생성한다.

실험 결과

연구 질문

• RQ1 신경망은 분리 집합 합합과 링크/컷 트리와 같은 복잡한 포인터 기반 데이터 구조를 학습하고 일반화할 수 있는가?
• RQ2 중간 데이터 구조 상태에 대한 직접적 지도 학습이 정적 GNNs와 Deep Sets를 뛰어넘는 일반화 성능 향상에 기여하는가?
• RQ3 알고리즘 추론 작업을 위해 미분 가능하고 희소하며 동적인 그래프 구조를 효과적으로 학습할 수 있는가?
• RQ4 이론적 컴퓨터 과학에서 유래한 인덕티브 바이어스의 사용이 모델 성능과 일반화 능력을 어느 정도 향상시키는가?
• RQ5 PGNs는 훈련 중에 관찰한 입력 크기보다 훨씬 큰 입력 크기로 일반화할 수 있는가?

주요 결과

• PGNs는 가장 큰 링크/컷 트리 테스트 세트(n = 100, ops = 150)에서 F1 스코어 0.616 ± 0.009를 기록하여, GNN(0.401 ± 0.123)과 SupGNN(0.541 ± 0.059)를 포함한 모든 베이스라인을 앞서며 성능을 뛰어넘었다.
• 동적 그래프 연결성 작업에서 PGNs는 훈련 중에 본 입력보다 5배 큰 테스트 입력으로도 일반화 성능을 보이며, 강력한 분포 외 일반화 능력을 입증했다.
• 절단 분석 결과, 오직 마스킹 지도 학습만을 사용하는 PGN-MO도 모든 비-PGN 모델을 능가했으며, 이는 인덕티브 바이어스가 성능 향상의 핵심 요소임을 시사한다.
• 비대칭 포인터를 사용하는 PGN-Asym는 대칭 PGN보다 유의미하게 열등한 성능을 보였으며, 이는 포인터를 대칭화함으로써 구조적 단절을 방지하는 데 실질적인 이점이 있음을 확인한다.
• n = 200 및 ops = 300으로 확장했을 때 PGN은 F1 스코어 0.636 ± 0.009를 기록하여 Oracle-Ptr 기준선(0.619 ± 0.043)에 가까이 도달하며, 더 큰 입력에 대한 강건성을 입증했다.
• 모델는 정확성을 유지하면서도 지표 구현과 다를 수 있는 유효하고 병렬화 가능한 데이터 구조를 성공적으로 학습했다.