[논문 리뷰] KAGNNs: Kolmogorov-Arnold Networks meet Graph Learning
이 논문은 그래프 신경망(GNN)에 사용되는 Kolmogorov-Arnold Networks(KAN들)(KAGIN, KAGCN)을 전통적인 MLP 기반 GNN(GIN, GCN)과 노드 분류, 그래프 분류, 그래프 회귀 task에서 비교하고, KAN이 경쟁력 있고 회귀에서 우위를 가짐을 발견한다.
In recent years, Graph Neural Networks (GNNs) have become the de facto tool for learning node and graph representations. Most GNNs typically consist of a sequence of neighborhood aggregation (a.k.a., message-passing) layers, within which the representation of each node is updated based on those of its neighbors. The most expressive message-passing GNNs can be obtained through the use of the sum aggregator and of MLPs for feature transformation, thanks to their universal approximation capabilities. However, the limitations of MLPs recently motivated the introduction of another family of universal approximators, called Kolmogorov-Arnold Networks (KANs) which rely on a different representation theorem. In this work, we compare the performance of KANs against that of MLPs on graph learning tasks. We implement three new KAN-based GNN layers, inspired respectively by the GCN, GAT and GIN layers. We evaluate two different implementations of KANs using two distinct base families of functions, namely B-splines and radial basis functions. We perform extensive experiments on node classification, link prediction, graph classification and graph regression datasets. Our results indicate that KANs are on-par with or better than MLPs on all tasks studied in this paper. We also show that the size and training speed of RBF-based KANs is only marginally higher than for MLPs, making them viable alternatives. Code available at https://github.com/RomanBresson/KAGNN.
연구 동기 및 목표
- 그래프 학습에서 KAN의 표현력과 실용성을 MLP와 비교하여 평가한다.
- GIN/GCN에서 MLP를 KAN 레이어로 대체하여 KAGIN 및 KAGCN 아키텍처를 개발한다.
- 노드 분류, 그래프 분류, 그래프 회귀 데이터셋에서 성능을 평가한다.
- KAN 기반 GNN의 학습 효율성과 하이퍼파라미터 효과를 분석한다.
제안 방법
- GIN 유사 및 GCN 유사 아키텍처에서 MLP 기반의 특징 업데이트를 KAN 레이어로 대체하여 KAGIN 및 KAGCN을 만든다.
- 각 KAN 레이어에서 그리드 크기와 스플라인 차수로 제어되는 단변수 스플라인 활성화를 포함한 Kolmogorov-Arnold 표현을 사용한다.
- Node update rule: h_v^(l) = KAN^(l)((1+ε)·h_v^(l-1) + sum_{u in N(v)} h_u^(l-1)).
- 그래프 표현은 합(sum) 리드아웃을 통해 얻고 모델에 따라 최종 KAN 혹은 MLP 레이어를 통과한다.
- 데이터셋 전반에서 Optuna로 하이퍼파라미터를 최적화하고 표준 GIN/GCN 베이스라인과 비교한다.
실험 결과
연구 질문
- RQ1KAN 기반 GNN(KAGIN, KAGCN)이 노드 및 그래프 분류 과제에서 MLP 기반 GNN(GIN, GCN)의 성능에 도달하거나 이를 능가하는가?
- RQ2KAN 기반 GNN이 그래프 회귀 과제에서 그들의 MLP 기반 비교 대상보다 이점을 제공하는가?
- RQ3KAN 하이퍼파라미터(그리드 크기, 스플라인 차수)와 모델 너비가 과제 전반에 걸쳐 정확도와 학습 시간에 어떤 영향을 미치는가?
주요 결과
- KAN 기반 GIN(KAGIN)은 대부분의 노드 분류 데이터셋에서 GIN보다 우수하며, Citeseer와 Cora에서 특히 큰 향상을 보인다.
- KAN 기반 GCN(KAGCN)은 여러 데이터셋에서 GCN보다 우수하며, 특히 동류성 네트워크에서 두드러진 성능을 보이고 이형성 네트워크에서도 유사한 결과를 보인다.
- 그래프 분류에서 KAGIN과 GIN은 유사한 성능을 보이고; KAGIN이 여러 데이터셋에서 우세하지만 차이는 작으며 ENZYMES 데이터셋에서는 KAGIN이 더 나쁘다.
- 그래프 회귀에서 KAGIN이 ZINC-12K 및 QM9에서 GIN보다 크게 우수하여 KAN이 회귀에 이점을 시사한다.
- KAN 기반 모델의 학습 시간은 MLP 기반보다 더 길고, 그리드 크기와 스플라인 차수에 따라 증가한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.