[논문 리뷰] L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks

Yuning You, Tianlong Chen외 2명|arXiv (Cornell University)|2020. 03. 30.

Advanced Graph Neural Networks참고 문헌 27인용 수 8

한 줄 요약

이 논문은 그래프 컬러지 네트워크(GCN)의 계층별 훈련 프레임워크인 L-GCN을 제안한다. 이는 특성 집합과 변환을 분리하여 훈련 시간과 메모리 사용량을 크게 줄인다. 또한 L²-GCN를 도입하여, 각 계층의 훈련 에포크를 자동으로 최적화하는 학습된 RNN 컨트롤러를 사용함으로써 최신 기술 수준의 성능 향상을 이룬다—최대 10배 빠른 속도로, 성능은 경쟁력 있고 데이터셋 크기와 관계없이 일관된 메모리 사용을 유지한다.

ABSTRACT

Graph convolution networks (GCN) are increasingly popular in many applications, yet remain notoriously hard to train over large graph datasets. They need to compute node representations recursively from their neighbors. Current GCN training algorithms suffer from either high computational costs that grow exponentially with the number of layers, or high memory usage for loading the entire graph and node embeddings. In this paper, we propose a novel efficient layer-wise training framework for GCN (L-GCN), that disentangles feature aggregation and feature transformation during training, hence greatly reducing time and memory complexities. We present theoretical analysis for L-GCN under the graph isomorphism framework, that L-GCN leads to as powerful GCNs as the more costly conventional training algorithm does, under mild conditions. We further propose L$^2$-GCN, which learns a controller for each layer that can automatically adjust the training epochs per layer in L-GCN. Experiments show that L-GCN is faster than state-of-the-arts by at least an order of magnitude, with a consistent of memory usage not dependent on dataset size, while maintaining comparable prediction performance. With the learned controller, L$^2$-GCN can further cut the training time in half. Our codes are available at https://github.com/Shen-Lab/L2-GCN.

연구 동기 및 목표

• 대규모 그래프에서 깊은 GCN을 훈련할 때 발생하는 높은 계산 비용과 메모리 비용을 해결한다.
• 계층 간 재귀적 이웃 집합을 통한 미니배치 GCN 훈련에서 발생하는 복잡도의 지수적 증가를 극복한다.
• 시간과 메모리 복잡도를 크게 줄이면서도 표현력의 강화를 유지하는 훈련 프레임워크를 개발한다.
• 각 계층의 훈련 에포크에 대한 수동 하이퍼파라미터 튜닝을 제거하고 최적의 설정을 자동으로 학습한다.
• 학습된 컨트롤러를 사용한 계층별 훈련이 기존의 전방향 훈련 방식과 비슷하거나 거의 동일한 성능을 달성하면서도 훈련 시간을 극적으로 단축시킬 수 있음을 입증한다.

제안 방법

• GCN 훈련에서 특성 집합(FA)과 특성 변환(FT)을 분리하여, 종단간 백프로파게이션 대신 계층별 처리를 가능하게 한다.
• 각 GCN 계층을 독립적으로 미니배치 업데이트를 통해 훈련하고, 현재 계층의 임bedding만 저장함으로써 메모리 복잡도를 데이터셋 크기와 관계없이 O(BD)로 줄인다.
• 그래프 이somorphism 프레임워크를 기반으로 한 이론적 분석을 통해 L-GCN가 온건한 조건 하에서 표현력의 강화를 유지함을 보여준다.
• L²-GCN를 도입하여, 샘플링된 부분그래프에서의 성능을 관찰함으로써 각 계층의 최적 훈련 에포크를 학습한 RNN 컨트롤러를 사용한다.
• 랜덤으로 샘플링된 부분그래프에서 RNN 컨트롤러를 훈련하여 각 계층의 훈련을 언제 멈출지 예측함으로써 수동적인 에포크 설정을 대체한다.
• 각 계층이 수렴할 때까지 훈련한 후 다음 계층으로 이동하는 탐욕적이고 반복적인 훈련 전략을 사용하여 불필요한 계산을 최소화한다.

실험 결과

연구 질문

• RQ1 GCN에 대한 계층별 훈련 전략이 기존의 종단간 훈련 방식과 동일한 표현력을 유지할 수 있는가?
• RQ2 특성 집합과 변환을 분리함으로써 GCN 훈련의 시간 및 메모리 복잡도를 얼마나 줄일 수 있는가?
• RQ3 학습된 컨트롤러를 통해 수동 하이퍼파라미터 튜닝 없이도 최적의 각 계층 훈련 에포크를 자동으로 결정할 수 있는가?
• RQ4 L-GCN와 L²-GCN의 성능은 정확도, 훈련 시간, 메모리 사용 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 되는가?
• RQ5 제안된 계층별 접근 방식으로 훈련할 때 더 깊은 네트워크 아키텍처가 성능 향상에 기여하는가?

주요 결과

• L-GCN는 훈련 시간 복잡도를 O(L||Â||₀/NBAT D + BD²)로 줄이고, 메모리 복잡도를 데이터셋 크기와 관계없이 O(BD)로 줄여, 기존의 전방향 및 미니배치 GCN 방법보다 뛰어난 성능을 보인다.
• Reddit 데이터셋에서 L-GCN는 GraphSAGE(93.4%)와 FastGCN(92.6%)보다 10배 빠른 훈련 속도로 94.2% F1 스코어를 달성하며, 일관된 GPU 메모리 사용을 유지한다.
• L²-GCN는 최적의 에포크 설정을 학습함으로써 L-GCN 대비 약 50%의 훈련 시간 감소를 이룬다. 성능 손실는 미미하며, 예를 들어 Reddit에서 L-GCN의 94.2% 대비 L²-GCN의 94.0% F1 스코어를 기록한다.
• L-GCN로 훈련한 더 깊은 네트워크(최대 4층)는 성능 향상을 보였다. PPI에서 4층 L-GCN는 2층 모델의 93.7%에서 97.7% F1 스코어로 향상되었다.
• L²-GCN의 RNN 컨트롤러는 효율적인 에포크 설정을 학습한다—예를 들어 Cora에서는 75+75, Reddit에서는 30+60 등—수동 튜닝 설정과 거의 동일한 성능을 더 적은 에포크로 달성한다.
• N-GCN에 계층별 훈련을 적용하면, Cora에서 훈련 시간이 62초에서 4초로 감소했으며, 83.1% F1 스코어를 유지함으로써 표준 GCN 이외의 분야에도 넓은 적용 가능성을 보였다.