[논문 리뷰] Bandit Samplers for Training Graph Neural Networks.

Ziqi Liu, Zhengwei Wu외 5명|arXiv (Cornell University)|2020. 01. 01.

Advanced Graph Neural Networks인용 수 3

한 줄 요약

이 논문은 그래프 신경망(GNN) 학습을 위한 밴딧 기반 샘플링 방법을 제안하며, 기울기 추정의 분산을 최소화하기 위해 탐색과 이용을 동적으로 균형 잡는다. 샘플링을 적대적 밴딧 문제로 모델링함으로써, 변화하는 노드 임bedding과 학습된 가중치에 적응하며 이론적 최소 분산의 3배 이내로 渐진적으로 최적화된다.

ABSTRACT

Several sampling algorithms with variance reduction have been proposed for accelerating the training of Graph Convolution Networks (GCNs). However, due to the intractable computation of optimal sampling distribution, these sampling algorithms are suboptimal for GCNs and are not applicable to more general graph neural networks (GNNs) where the message aggregator contains learned weights rather than fixed weights, such as Graph Attention Networks (GAT). The fundamental reason is that the embeddings of the neighbors or learned weights involved in the optimal sampling distribution are changing during the training and not known a priori, but only partially observed when sampled, thus making the derivation of an optimal variance reduced samplers non-trivial. In this paper, we formulate the optimization of the sampling variance as an adversary bandit problem, where the rewards are related to the node embeddings and learned weights, and can vary constantly. Thus a good sampler needs to acquire variance information about more neighbors (exploration) while at the same time optimizing the immediate sampling variance (exploit). We theoretically show that our algorithm asymptotically approaches the optimal variance within a factor of 3. We show the efficiency and effectiveness of our approach on multiple datasets.

연구 동기 및 목표

• 기울기 분산 최소화를 위한 최적의 샘플링 분포가 계산이 불가능한 기존 샘플링 방법의 열악한 성능을 해결한다.
• 고정된 가중치에 의존하는 현재의 분산 감소 샘플러는 그래프 어텐션 네트워크(GAT)와 같이 학습된 집계기능을 사용하는 GNN에 적용될 수 없다는 한계를 극복한다.
• 샘플링 분산 최적화를 적대적 밴딧 문제로 재정의하며, 보상은 동적인 노드 임베딩과 학습된 가중치에 따라 달라진다.
• 학습 중에 변화하는 모델 상태에 적응하기 위해 이웃 정보를 적극적으로 탐색하면서도 즉각적인 분산 감소를 이용하는 방법을 개발한다. 이는 학습 효율성과 수렴 속도 향상에 기여한다.

제안 방법

• 각 이웃 선택이 기울기 분산과 연결된 스토하스틱 보상을 갖는 밴딧 문제로 샘플링 과정을 모델링한다.
• 맥락 기반 밴딧 알고리즘을 사용하여 탐색(미래의 이웃에서 분산 정보를 수집)과 이용(즉각적인 분산을 최소화하는 이웃 선택)을 균형 잡는다.
• 학습 중에 부분적인 노드 임베딩과 학습된 가중치 관측 결과를 기반으로 샘플링 정책을 동적으로 갱신함으로써 변화하는 모델 상태에 적응한다.
• 이론적 분석을 통해 모델 파라미터가 변화함에 따라 비록 이론적 최소 분산의 3배 이내로 渐진적으로 수렴함을 보여준다.
• 기본 아키텍처나 집계 메커니즘을 수정하지 않고 GNN의 순방향 및 역방향 전파에 밴딧 샘플러를 통합한다.

실험 결과

연구 질문

• RQ1 학습 중에 변화하는 임베딩과 학습된 가중치에 적응할 수 있는 샘플링 전략을 설계할 수 있는가?
• RQ2 동적 의존성으로 인해 최적의 샘플링 분포가 계산이 불가능한 GAT와 같은 학습된 집계기능을 갖는 GNN에서 분산 감소는 어떻게 달성할 수 있는가?
• RQ3 밴딧 기반 접근법이 이론적 분산 하한에 얼마나 가까이 도달할 수 있는가?
• RQ4 제안된 방법은 다양한 그래프 데이터셋에서 기존의 샘플링 기반 방법에 비해 학습 속도와 모델 정확도 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 밴딧 샘플러는 이론적 최적 분산의 3배 이내로 渐진적으로 수렴하며, 성능에 대한 이론적 보장을 제공한다.