[논문 리뷰] Graph Neural Networks are Dynamic Programmers

Andrew Dudzik, Petar Veličković|arXiv (Cornell University)|2022. 03. 29.

Machine Learning in Materials Science인용 수 9

한 줄 요약

이 논문은 그래프 신경망(GNNs)과 동적 프로그래밍(DP) 간의 엄밀한 범주론적 및 대수적 기반을 구축하여, GNNs가 다이어그램 기반 적분 변환을 통해 자연스럽게 DP를 구현함을 보여준다. 새로운 GNN 변종인 $V^3$을 제안하며, 다항식 스펜을 존중함으로써 CLRS 벤치마크에서 엣지 중심 알고리즘 작업에서 최고 성능을 기록하여 개선된 알고리즘 정렬성이 검증된다.

ABSTRACT

Recent advances in neural algorithmic reasoning with graph neural networks (GNNs) are propped up by the notion of algorithmic alignment. Broadly, a neural network will be better at learning to execute a reasoning task (in terms of sample complexity) if its individual components align well with the target algorithm. Specifically, GNNs are claimed to align with dynamic programming (DP), a general problem-solving strategy which expresses many polynomial-time algorithms. However, has this alignment truly been demonstrated and theoretically quantified? Here we show, using methods from category theory and abstract algebra, that there exists an intricate connection between GNNs and DP, going well beyond the initial observations over individual algorithms such as Bellman-Ford. Exposing this connection, we easily verify several prior findings in the literature, produce better-grounded GNN architectures for edge-centric tasks, and demonstrate empirical results on the CLRS algorithmic reasoning benchmark. We hope our exposition will serve as a foundation for building stronger algorithmically aligned GNNs.

연구 동기 및 목표

• GNNs와 동적 프로그래밍(DP) 간의 이론적 연결을 공식화하고 정량화하여, 단순한 사례 기반 유사성에서 벗어나는 것.
• 이론적으로 정렬된다고 주장함에도 불구하고 특정 GNN 아키텍처가 알고리즘 작업 전반에서 일반화 성능이 열 劣하는 이유에 대한 체계적인 이해 부족을 해결하는 것.
• 범주론과 추상 대수학을 활용해 특정 DP 알고리즘 유형과 더 잘 정렬되는 GNN을 식별하는 원칙적인 프레임워크를 개발하는 것.
• 다항식 스펜을 존중하는 아키텍처가 엣지 중심 알고리즘 추론 작업에서 뛰어난 성능을 보이는지 실증적으로 검증하는 것.
• 이전의 신경 알고리즘 추론 연구 성과를 하나의 범주론적 추상화로 통합하여, 더 잘 정렬된 GNN의 체계적 설계를 가능하게 하는 것.

제안 방법

• GNNs와 DP를 범주론에서 다이어그램 기반 계산으로 공식화하여, 메시지 전달과 부분 문제 재결합을 모델링하기 위해 피보팅, 푸시포워드, 가환 모노이드를 사용한다.
• GNN 메시지 전달과 DP 재귀 관계를 하나의 범주론적 구성으로 추상화하는 적분 변환 프레임워크를 도입한다.
• DP의 부분 문제 의존성 구조를 모델링하기 위해 다항식 스펜 구조를 정의하며, 이는 GNN 메시지 및 업데이트 함수 설계에 영향을 준다.
• 목표 DP 알고리즘의 다항식 스펜을 명시적으로 존중하는 아키텍처를 갖춘 새로운 GNN 변종 $V^3$을 제안하여 알고리즘 정렬성을 향상시킨다.
• 24차원 임bedding과 8/16 너비의 히든 레이어를 갖는 이중층 MLP를 사용해 $V^3$을 구현하고, OOD 일반화를 위해 CLRS 벤치마크에서 훈련한다.
• CLRS의 27개 작업 전반에서 성능을 평가하며, 엣지 중심 및 비-엣지 중심 작업 모두에서 $V^3$을 기준선 $V^2$ 및 최고 성능의 PGN 프로세서와 비교한다.

실험 결과

연구 질문

• RQ1 범주론과 추상 대수학을 활용해 벨먼-포드와 같은 고립된 사례를 넘어서 GNN-DP 연결을 공식화할 수 있는가?
• RQ2 DP 알고리즘의 범주론적 구조를 어떻게 활용해 알고리즘 정렬성이 향상되고 샘플 복잡도가 낮아지는 GNN을 설계할 수 있는가?
• RQ3 GNN에 다항식 스펜 구조를 강제 적용하면 알고리즘 추론 벤치마크에서 측정 가능한 성능 향상이 발생하는가?
• RQ4 DP의 다이어그램 구조를 존중하는 GNN은 다양한 알고리즘 작업 간에서 얼마나 더 잘 일반화되는가?
• RQ5 통합된 범주론적 프레임워크는 이전의 GNN 알고리즘 정렬 연구를 통합하고 더 강력한 신경 알고리즘 추론자를 설계하는 데 도움이 될 수 있는가?

주요 결과

• 목표 DP 알고리즘의 다항식 스펜을 존중하는 제안된 $V^3$ GNN 변종은 CLRS 벤치마크의 모든 여섯 개의 엣지 중심 알고리즘에서 기준선 $V^2$를 초월한다.
• 디카스트라 알고리즘에서 $V^3$은 OOD 정확도 68.53%를 기록하여 $V^2$의 59.58%보다 9.0%p 높은 성능을 보였다.
• 삽입 정렬 작업에서 $V^3$은 24.67%의 정확도를 달성하여 $V^2$의 15.39%보다 9.3%p 향상되었다.
• 27개 작업으로 구성된 전체 CLRS 벤치마크에서 $V^3$은 모든 작업 평균 성능을 35.20%에서 37.70%로 2.73%p 향상시켰다.
• $V^3$은 엣지 중심 작업에서 일관된 성능 향상(평균 +4.44%)을 보였고, 비-엣지 중심 작업에서는 소량의 향상(평균 +1.01%)을 기록했다.
• 범주론적 분석을 통해 이전의 알고리즘 정렬 연구 결과들이 제안된 적분 변환 프레임워크의 자연스러운 추론으로 도출됨을 확인했다.