[논문 리뷰] Adaptive Sampling Towards Fast Graph Representation Learning

Wenbing Huang, Tong Zhang외 2명|arXiv (Cornell University)|2018. 09. 14.

Advanced Graph Neural Networks인용 수 228

한 줄 요약

이 논문은 대형 그래프에서 GCN을 가속하기 위해 분산-감소 학습 및 건너뛰기 연결을 활용한 계층별 적응 샘플링을 도입하여 수렴 속도와 정확도에서 베이스라인보다 개선을 달성한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have become a crucial tool on learning representations of graph vertices. The main challenge of adapting GCNs on large-scale graphs is the scalability issue that it incurs heavy cost both in computation and memory due to the uncontrollable neighborhood expansion across layers. In this paper, we accelerate the training of GCNs through developing an adaptive layer-wise sampling method. By constructing the network layer by layer in a top-down passway, we sample the lower layer conditioned on the top one, where the sampled neighborhoods are shared by different parent nodes and the over expansion is avoided owing to the fixed-size sampling. More importantly, the proposed sampler is adaptive and applicable for explicit variance reduction, which in turn enhances the training of our method. Furthermore, we propose a novel and economical approach to promote the message passing over distant nodes by applying skip connections. Intensive experiments on several benchmarks verify the effectiveness of our method regarding the classification accuracy while enjoying faster convergence speed.

연구 동기 및 목표

• 이웃 확장으로 인한 대형 그래프에서의 그래프 신경망(GCN)의 확장성 문제를 동기 부여하고 해결한다.
• 샘플링된 이웃을 상위 노드들 간에 공유하여 계층 크기를 고정하고 확장을 제어하는 계층별 샘플링 프레임워크를 제안한다.
• 분산을 tractable하게 최소화하고 학습에 분산 감소 목적을 통합하는 적응 샘플러를 도입한다.
• 무거운 추가 연산 없이 이차 인접성(second-order proximity)을 보존하기 위해 건너뛰기 연결을 통해 장거리 메시지 전달을 향상시킨다.

제안 방법

• GCN 업데이트를 기대로 재정의하고 전체 이웃 확장을 몬테카를로 추정으로 대체한다.
• 계층별 샘플링을 개발하여 각 계층마다 한 번 샘플링을 수행하고 상위 계층의 노드들 간에 이웃을 공유한다.
• 스스로 의존하는 함수 g(x(u_j))에서 도출된 적응 샘플러 q(u_j)를 설계하여 분산을 최소화하는 분포(Eq. 9)를 근사하고 분산 감소를 혼합 손실에 통합한다.
• A^2를 직접 계산하지 않고도 2-홉 이웃을 가능하게 하기 위해 (l-1) 계층의 노드를 재사용하는 건너뛰기 연결 스킴을 도입한다(Eq. 12–13).
• 샘플러를 기존 방법(GraphSAGE, FastGCN)과 관련시키고 계층별 프레임워크에 적합한 주의(attention)에서 영감을 받은 변형(GAT 유사)을 논의한다.
• 표준 그래프(Cora, Citeseer, Pubmed, Reddit)에 대한 귀납적 학습 설정과 실증적 평가를 제공한다.

실험 결과

연구 질문

• RQ1 공유된 이웃을 갖는 계층별 샘플링이 표준 그래프 벤치마크에서 정확도를 유지하거나 향상시키면서 GCN의 학습 속도를 높일 수 있는가?
• RQ2 적응적이고 분산 감소 샘플러가 노드별 또는 IID 계층 샘플링보다 안정성과 수렴 면에서 우수한가?
• RQ3 이차 인접성을 보존하기 위한 건너뛰기 연결의 도입이 수렴 및 예측 성능을 향상시키는가?
• RQ4 제안된 방법이 벤치마크 데이터세트에서 기존의 샘플링 기반 또는 주의 기반 그래프 모델과 어떻게 비교되는가?

주요 결과

Method	Cora	Citeseer	Pubmed	Reddit
Full	0.8664±0.0011	0.7934±0.0026	0.9022±0.0008	0.9568±0.0069
IID	0.8506±0.0048	0.7387±0.0078	0.8200±0.0114	0.8611±0.0437
Node-Wise	0.8202±0.0133	0.7734±0.0081	0.9002±0.0017	0.9449±0.0026
Adapt (no vr)	0.8588±0.0062	0.7942±0.0022	0.9060±0.0024	0.9501±0.0047
Adapt	0.8744±0.0034	0.7966±0.0018	0.9060±0.0016	0.9627±0.0032

• Adapt는 Cora, Citeseer, Pubmed, Reddit에서 강력한 베baseline보다 더 높은 테스트 정확도를 달성한다(예: Cora 0.8744, Citeseer 0.7966, Pubmed 0.9060, Reddit 0.9627).
• Adapt는 보고된 결과에서 Full GCN, IID, GraphSAGE, FastGCN 베이스라인보다 우수하며 수렴 속도(에폭당 학습 시간)와 안정성 측면에서 현저히 개선된다.
• 적응 샘플러(lambda > 0)에 의한 분산 감소는 Cora와 Reddit에서 분산 항 제거(lambda = 0)보다 성능이 더 좋고 Citeseer는 분산 영향이 작다.
• 건너뛰기 연결은 수렴을 크게 가속화한다(예: Cora에서 수렴 에폭을 약 150에서 100으로 감소) 최종 정확도는 미미하게 변화한다.
• 명시적 2-홉 샘플링 변형(A^2 사용)은 정확도를 더 높일 수 있지만, 대형 그래프에서는 건너뛰기 연결이 더 계산 친화적인 대안을 제공한다.
• IID 및 노드별 샘플링과 비교하여 조건부 의존성을 갖는 계층별 샘플링은 층 간 상관관계를 포착하고 더 빠르고 안정적인 학습을 제공한다.