[논문 리뷰] Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth

Keyulu Xu, Mozhi Zhang외 2명|arXiv (Cornell University)|2021. 05. 10.

Advanced Graph Neural Networks인용 수 16

한 줄 요약

이 논문은 그래프 신경망(GNNs)에서 경사하강법 동역학에 대한 최초의 이론적 분석을 제공하며, 약간의 가정 하에 선형화된 GNNs가 스킵 연결과 증가된 깊이를 갖추면 전역 최소값으로 선형 속도로 수렴함을 보여준다. 실험 결과는 스킵 연결과 더 깊은 아키텍처가 훈련을 암묵적으로 가속화함을 확인하며, 깊고 다중스케일 GNN의 실용적 성공에 대한 이론적 근거를 제공한다.

ABSTRACT

Graph Neural Networks (GNNs) have been studied through the lens of expressive power and generalization. However, their optimization properties are less well understood. We take the first step towards analyzing GNN training by studying the gradient dynamics of GNNs. First, we analyze linearized GNNs and prove that despite the non-convexity of training, convergence to a global minimum at a linear rate is guaranteed under mild assumptions that we validate on real-world graphs. Second, we study what may affect the GNNs' training speed. Our results show that the training of GNNs is implicitly accelerated by skip connections, more depth, and/or a good label distribution. Empirical results confirm that our theoretical results for linearized GNNs align with the training behavior of nonlinear GNNs. Our results provide the first theoretical support for the success of GNNs with skip connections in terms of optimization, and suggest that deep GNNs with skip connections would be promising in practice.

연구 동기 및 목표

• 그래프 신경망(GNNs)의 최적화 동역학을 이해하기 위해, 표현력과 일반화 능력 향상에도 불구하고 여전히 잘 이해되지 않는 문제를 다루기 위해.
• 비볼록적인 GNN 훈련에서 경사하강법이 전역 최소값으로 수렴할 수 있는지, 특히 깊은 아키텍처에서 어떤지 조사하기 위해.
• 스킵 연결, 깊이, 레이블 분포가 GNN 훈련을 가속화하는 데 미치는 영향을 분석하기 위해.
• 스킵 연결을 갖춘 깊은 GNN의 실험적 성공에 대한 이론적 근거를 제공하기 위해.
• 최적화 동역학과 아키텍처 선택 간의 격차를 메우기 위해 이론적 분석과 실용적 GNN 설계를 연결하기 위해.

제안 방법

• 선형 활성화를 갖는 단순화된 모델을 사용하여 비볼록 동역학의 핵심을 포착하는 선형화된 GNNs의 경사 동역학을 분석하기 위해.
• 약간의 가정 하에 전역 최소값으로 선형 속도로 수렴함을 증명하고, 실제 그래프에서 검증하기 위해.
• 수렴 속도를 측정하기 위해 시간에 따라 변하는 조건 파rameter λₜ를 도입하고 아키텍처 구성 요소의 영향을 분석하기 위해.
• 이론적 및 실험적 분석을 통해 스킵 연결, 깊이, 레이블 신호 대 노이즈 비율이 훈련 속도에 미치는 영향을 연구하기 위해.
• 베이킹 데이터셋에서 ReLU와 선형 GNN의 훈련 곡선을 비교하여 비선형 GNNs로 이론적 결과를 확장하기 위해.
• 훈련 및 고유값 계산에 PyTorch와 PyTorch Geometric를 사용하고, Cora 및 Citeseer 데이터셋을 통해 실험을 수행하기 위해.

실험 결과

연구 질문

• RQ1 비볼록성에도 불구하고 그래프 신경망 훈련에서 경사하강법이 전역 최소값으로 수렴할 수 있는가?
• RQ2 스킵 연결은 GNN의 최적화 동역학과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 네트워크 깊이를 늘리면 GNN에서 훈련 속도가 빨라지는가, 그리고 만약 그렇다면 그 이유는 무엇인가?
• RQ4 레이블 분포(신호 대 노이즈)는 GNN의 훈련 속도에 어떤 영향을 미치는가?
• RQ5 선형화된 GNNs에 대한 이론적 결과가 실생활 비선형 GNNs로 얼마나 일반화되는가?

주요 결과

• 약간의 가정 하에 제곱 손실을 갖는 선형화된 GNNs는 실제로 Cora와 Citeseer와 같은 실제 그래프에서도 전역 최소값으로 선형 속도로 수렴한다.
• 스킵 연결은 깊은 아키텍처에서도 최적화 동역학을 암묵적으로 향상시켜 훈련을 크게 가속화한다.
• 깊이를 더 늘일수록 수렴 속도가 더욱 빨라지며, 이는 스킵 연결을 갖춘 더 깊은 GNNs가 최적화 측면에서 유리하다는 것을 시사한다.
• 특성와 관련성이 높은 신호가 많은 레이블 분포일수록 훈련 속도가 빨라지고, 무작위 레이블은 수렴 속도를 느리게 한다.
• ReLU GNN의 실험적 훈련 곡선은 선형화된 GNN의 곡선과 매우 유사하여, 비선형 모델에 대한 이론적 분석의 타당성을 검증한다.
• 성공적인 훈련 설정에서 시간에 따라 변하는 조건 λₜ는 시간이 지남에 따라 감소하며, 이는 이론적 수렴 속도 예측을 확인한다.