[논문 리뷰] Sheaf Neural Networks with Connection Laplacians

Federico Barbero, Cristian Bodnar외 4명|arXiv (Cornell University)|2022. 06. 17.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 다양한 노드의 접선 공간을 다각도 기하학적 구조와 그래프의 구조를 활용하여 최적화된 정렬을 수행하는 직교 매핑을 사용하여, 다양체 가정 하에 이웃 노드의 접선 공간을 최적으로 정렬함으로써, Sheaf Neural Networks (SNNs)에서 시트 라플라시안을 결정론적으로 사전 처리하는 방법을 제안한다. 이 방법은 계산 비용을 줄이고 기존의 기울기 기반 시트 학습보다 빠른 추론 성능을 달성하며, 경쟁적인 성능을 보인다.

ABSTRACT

A Sheaf Neural Network (SNN) is a type of Graph Neural Network (GNN) that operates on a sheaf, an object that equips a graph with vector spaces over its nodes and edges and linear maps between these spaces. SNNs have been shown to have useful theoretical properties that help tackle issues arising from heterophily and over-smoothing. One complication intrinsic to these models is finding a good sheaf for the task to be solved. Previous works proposed two diametrically opposed approaches: manually constructing the sheaf based on domain knowledge and learning the sheaf end-to-end using gradient-based methods. However, domain knowledge is often insufficient, while learning a sheaf could lead to overfitting and significant computational overhead. In this work, we propose a novel way of computing sheaves drawing inspiration from Riemannian geometry: we leverage the manifold assumption to compute manifold-and-graph-aware orthogonal maps, which optimally align the tangent spaces of neighbouring data points. We show that this approach achieves promising results with less computational overhead when compared to previous SNN models. Overall, this work provides an interesting connection between algebraic topology and differential geometry, and we hope that it will spark future research in this direction.

연구 동기 및 목표

• 수동으로 구성된 시트 초기화 방식은 일반화 능력이 떨어지고, 엔드 투 엔드 학습 방식은 높은 계산 비용과 과적합 위험을 수반하므로, Sheaf Neural Networks (SNNs)에서 시트 초기화 문제를 해결한다.
• 기존 SNN의 한계를 극복하기 위해 데이터로부터 기하학적 인덕티브 바이어스를 통합한 비모수적이고 사전 계산된 시트 구조를 도입한다.
• 모델 최적화 과정에서 시트 파라미터를 역전파하지 않기 때문에, 학습 시간과 파라미터 수를 줄인다.
• 다양체 기하학(접선 공간 정렬)을 그래프 구조 데이터와 융합하여, 이질적 환경에서의 일반화 능력을 향상시키는 것을 탐색한다.
• 결정론적이고 다양체 인지 시트 계산이 다양한 벤치마크 데이터셋에서 학습 가능한 시트 모델과 동등하거나 이를 초월하는 성능을 달성할 수 있음을 입증한다.

제안 방법

• 각 노드의 1-호프 이웃에 대해 주성분 분석(PCA)을 사용하여 局부 접선 공간을 계산함으로써 국소 다양체 구조를 추정한다.
• 각 이웃 노드 간의 접선 공간을 최적으로 정렬하기 위해, 정규직교 기저 간의 거리를 최소화하는 직교 변환 행렬 $ O_{ij} $ 를 유도한다.
• 이러한 직교 매핑에서 연결 라플라시안을 구성함으로써, 학습 가능한 파라미터가 없는 그래프 및 다양체 인지 시트 라플라시안을 형성한다.
• 데이터 사전 처리 단계에서 시트 라플라시안을 사전 계산하여, 주 모델 학습 단계와 분리한다.
• 기존의 GNN 메시지 전파 방식을 사용하면서도, 새로운 시트 구조를 통합한 Sheaf Neural Network (SNN)에 사전 계산된 라플라시안을 통합하여 추론 및 학습을 수행한다.
• 라플라시안을 통한 역전파를 피하기 위해 방법의 확장성과 효율성을 확보함으로써, 메모리 및 계산 요구량을 감소시킨다.

실험 결과

연구 질문

• RQ1 결정론적이고 기하학적으로 유도된 시트 라플라시안 계산 방법이 정확도와 효율성 측면에서 엔드 투 엔드로 학습된 시트보다 뛰어나게 성능을 낼 수 있는가?
• RQ2 특히 접선 공간 정렬이라는 다각도 기하학 원리를 통합함으로써, 이질적 그래프 학습 환경에서 일반화 능력이 향상되는가?
• RQ3 사전 계산된 시트 라플라시안은 성능 저하 없이 학습 시간과 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 다양한 동질성 수준을 가진 데이터셋에서 제안된 방법은 무작위 직교 시트 기반 모델 및 다른 SNN 변종과 비교해 어떻게 성능을 내는가?
• RQ5 저노드, 고엣지, 저동질성 등의 그래프 환경에서 결정론적 시트 계산이 가장 큰 이점을 보이는가?

주요 결과

• Conn-NSD는 Texas 및 Film과 같은 이질적 데이터셋에서 기존의 Diag-NSD, O(d)-NSD, Gen-NSD를 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• 노드 및 엣지 수가 많고 MLP 성능이 열악한 Squirrel 데이터셋에서도 Conn-NSD는 무작위 시트 기반 모델을 능가하지만, 완전히 학습 가능한 모델에는 미치지 못한다.
• Squirrel 데이터셋에서 O(d)-NSD 기준으로 45.8%의 추론 시간 단축을 달성하였으며, 사전 계산된 라플라시안 덕분에 학습 시간도 빨라졌다.
• 시트를 거쳐 기울기 계산을 제거함으로써 계산 오버헤드를 지속적으로 줄였으며, 데이터셋 간 평균 추론 시간은 0.010~0.310초/에포크 수준을 기록했다.
• Cora, Citeseer, Pubmed에서 Conn-NSD는 최고 성능을 내는 모델과 유사한 성능을 유지하면서도 더 적은 학습 가능한 파라미터를 사용한다.
• 이 방법은 다양체 가정에서 유도된 기하학적 구조가 SNN에서 과적합을 줄이고 일반화 능력을 향상시키는 효과적인 인덕티브 바이어스가 될 수 있음을 입증한다.