[논문 리뷰] FastGCN: Fast Learning with Graph Convolutional Networks via Importance Sampling

Jie Chen, Tengfei Ma외 1명|arXiv (Cornell University)|2018. 01. 30.

Advanced Graph Neural Networks인용 수 639

한 줄 요약

FastGCN은 그래프 합성을 적분 변환으로 재정의하여 중요도 가중치를 갖는 몬테카를로 샘플링으로 귀납적으로 학습하고 표준 GCN 및 GraphSAGE에 비해 배치당 비용이 훨씬 낮으면서도 정확도는 대략 비슷하게 유지될 수 있도록 합니다.

ABSTRACT

The graph convolutional networks (GCN) recently proposed by Kipf and Welling are an effective graph model for semi-supervised learning. This model, however, was originally designed to be learned with the presence of both training and test data. Moreover, the recursive neighborhood expansion across layers poses time and memory challenges for training with large, dense graphs. To relax the requirement of simultaneous availability of test data, we interpret graph convolutions as integral transforms of embedding functions under probability measures. Such an interpretation allows for the use of Monte Carlo approaches to consistently estimate the integrals, which in turn leads to a batched training scheme as we propose in this work---FastGCN. Enhanced with importance sampling, FastGCN not only is efficient for training but also generalizes well for inference. We show a comprehensive set of experiments to demonstrate its effectiveness compared with GCN and related models. In particular, training is orders of magnitude more efficient while predictions remain comparably accurate.

연구 동기 및 목표

• 테스트 데이터에 의존하지 않는 그래프 합성의 귀납적 학습 프레임워크를 도입한다.
• 샘플링을 통해 대형의 조밀한 그래프에서 GCN의 학습 시간과 메모리 부하를 감소시킨다.
• 레이어별 합성 및 손실에 대한 체계적 몬테카를로 추정기를 제공한다.
• 정확도를 유지하면서 샘플링 효율성을 높이기 위한 분산 저감 기법을 개발한다.

제안 방법

• 그래프 합성을 확률 측정 하에서 정점 임베딩 함수의 적분 변환으로 해석한다.
• 레이어 변환 및 손실을 추정하기 위해 몬테카를로 샘플링을 사용하여 배치 학습을 가능하게 한다.
• 추정기의 분산을 줄이고 최적의 샘플링 분포를 도출하기 위해 중요 샘플링을 적용한다.
• 레이어별 샘플링과 배치 그래디언트의 역전파를 포함하는 배치 학습 알고리즘(FastGCN)을 제공한다.
• 두 가지 변형을 제안한다: 균등 샘플링과 중요 샘플링; 학습 속도를 높이기 위한 AH(0)의 선계산을 계산한다.
• 전체 이웃 대신 정점을 샘플링함으로써 메모리 사용량을 줄이는 방법을 보여준다.

실험 결과

연구 질문

• RQ1 그래프 합성을 적분 변환으로 재구성하여 테스트 데이터가 필요하지 않은 귀납 학습을 가능하게 할 수 있는가?
• RQ2 이웃 샘플링과 달리 정점별 샘플링이 대형 그래프에서 GCN에 상당한 계산 절감을 제공하는가?
• RQ3 균등 샘플링에 비해 FastGCN에서 중요 샘플링이 몬테카를로 추정의 분산을 개선하는가?
• RQ4 표준 벤치마크에서 FastGCN의 학습 시간과 예측 정확도는 GCN 및 GraphSAGE와 비교하여 어떠한가?
• RQ5 귀납적 FastGCN 프레임워크를 사용할 때 추론의 실용적 시사점은 무엇인가?

주요 결과

• FastGCN은 배치당 학습 시간에서 GCN 및 GraphSAGE에 비해 수 차의 속도 향상을 달성한다.
• 중요 샘플링이 실험에서 일관되게 균등 샘플링보다 더 높은 정확도를 보였다.
• FastGCN의 예측 정확도는 데이터셋 전반에 걸쳐 GCN 및 GraphSAGE와 매우 비슷하다.
• 입력 계층에 대한 AH(0)의 선계산은 비슷한 정확도로 학습 시간을 크게 줄일 수 있다.
• FastGCN은 학습/테스트 데이터를 분리하고 전체 이웃 확장을 피함으로써 귀납 학습을 가능하게 한다.