[논문 리뷰] Stochastic Training of Graph Convolutional Networks with Variance Reduction

Jianfei Chen, Jun Zhu외 1명|arXiv (Cornell University)|2017. 10. 29.

Advanced Graph Neural Networks참고 문헌 9인용 수 181

한 줄 요약

본 논문은 neighbor sampling이 적용된 GCNs의 빠르고 편향되지 않은 확률적 학습을 가능하게 하는 전처리 및 제어변수(control-variate) 기법을 제안하여, 더 빠른 수렴으로도 정확한 GCN과 유사한 성능을 달성한다.

ABSTRACT

Graph convolutional networks (GCNs) are powerful deep neural networks for graph-structured data. However, GCN computes the representation of a node recursively from its neighbors, making the receptive field size grow exponentially with the number of layers. Previous attempts on reducing the receptive field size by subsampling neighbors do not have a convergence guarantee, and their receptive field size per node is still in the order of hundreds. In this paper, we develop control variate based algorithms which allow sampling an arbitrarily small neighbor size. Furthermore, we prove new theoretical guarantee for our algorithms to converge to a local optimum of GCN. Empirical results show that our algorithms enjoy a similar convergence with the exact algorithm using only two neighbors per node. The runtime of our algorithms on a large Reddit dataset is only one seventh of previous neighbor sampling algorithms.

연구 동기 및 목표

• 그래프 구조 데이터에서 GCN을 사용한 효율적인 준지도 학습 노드 분류를 동기 부여한다.
• 확률적 학습으로 인해 GCN의 높은 계산 비용을 다룬다.
• 빠른 수렴과 정확한 국소 최적점을 회복하기 위한 전처리 및 제어변수 기법을 도입한다.
• 제안된 방법에 대한 이론적 수렴 보장을 제공한다.

제안 방법

• 출력의 기대값을 바꾸지 않으면서 GCN의 깊이를 하나 줄이기 위한 전처리를 도입한다.
• neighbor sampling을 적용하여 이웃 집계를 근사하고 그 한계를 분석한다.
• 역사적 활성화를 활용하여 편향되지 않은 그래디언트 추정기를 생성하는 제어변수(CV) 방법을 제안한다.
• 드롭아웃을 고려하고 평균 활성화를 유지하는 분산 저감 기법(CVD)을 개발한다.
• 이론적 보증을 제공한다: CV는 정확한 예측과 편향되지 않은 그래디언트를 제공하며 표준 가정하에서 수렴한다.
• Exact, NS, NS+PP, CV+PP, 및 CVD+PP 변형 간의 시간 복잡도 및 수렴 행동을 비교한다.

실험 결과

연구 질문

• RQ1 전처리를 통해 GCN의 깊이를 감소시키면서 판별 성능을 손실하지 않을 수 있는가?
• RQ2 neighbor sampling이 성능 저하를 유발하는가, 분산 감소가 정확한 GCN 동작을 회복할 수 있는가?
• RQ3 제어변수 접근법이 전체 배치 GCN 훈련과 견줄 만한 편향되지 않은 그래디언트와 정확한 국소 최적점을 제공할 수 있는가?
• RQ4 전처리와 분산 감소 기법을 결합할 때 시간 복잡도와 수렴에서 어떤 트레이드오버가 있는가?
• RQ5 제안된 방법들이 드롭아웃하에서도 성능을 유지하고 이론적 수렴 보장을 제공하는가?

주요 결과

• 전처리와 제어변수 접근 방식은 정확한 GCN 성능에 맞먹는 결과를 제공하면서도 각 에포크의 시간이 더 빠르다.
• 제어변수는 편향되지 않은 그래디언트를 제공하고 드롭아웃이 0인 경우 정확한 GCN 국소 최적점으로 수렴한다.
• 분산 저감 기법은 neighbor sampling과 드롭아웃으로 야기되는 불안정성을 완화한다.
• 이 방법은 표준 매끄러움 가정하에서 편향되지 않은 그래디언트와 수렴에 대한 이론적 보장을 제공한다.
• 다양한 알고리즘 변형은 벤치마크 데이터 세트에서 정확성과 계산 효율성 사이의 우호적인 트레이드오프를 보여준다.