[논문 리뷰] Layer-Neighbor Sampling -- Defusing Neighborhood Explosion in GNNs

Muhammed Fatih Balın, Ümit V. Çatalyürek|arXiv (Cornell University)|2022. 10. 24.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 위한 새로운 그래프 샘플링 방법인 LABOR를 제안한다. LABOR는 이웃 샘플링과 레이어 샘플링을 포아송 샘플링을 통해 결합하여 이웃의 폭발 문제를 완화한다. 시드 노드들 간에 겹치는 이웃을 동시에 샘플링함으로써, 정점과 간선의 수를 각각 최대 7배와 13배 감소시켜, 이웃 샘플링보다 112배 큰 배치 크기를 가능하게 하며, 모델 수렴 및 성능을 유지하거나 향상시킨다.

ABSTRACT

Graph Neural Networks (GNNs) have received significant attention recently, but training them at a large scale remains a challenge. Mini-batch training coupled with sampling is used to alleviate this challenge. However, existing approaches either suffer from the neighborhood explosion phenomenon or have poor performance. To address these issues, we propose a new sampling algorithm called LAyer-neighBOR sampling (LABOR). It is designed to be a direct replacement for Neighbor Sampling (NS) with the same fanout hyperparameter while sampling up to 7 times fewer vertices, without sacrificing quality. By design, the variance of the estimator of each vertex matches NS from the point of view of a single vertex. Moreover, under the same vertex sampling budget constraints, LABOR converges faster than existing layer sampling approaches and can use up to 112 times larger batch sizes compared to NS.

연구 동기 및 목표

• 대규모 그래프에서 미니배치 학습 중 발생하는 GNN의 이웃 폭발 문제를 해결한다.
• 기존의 이웃 샘플링과 레이어 샘플링 방법의 한계를 극복한다 — 특히 이웃 샘플링의 높은 분산과 레이어 샘플링의 열악한 수렴 성능 문제를 해결한다.
• 이웃 샘플링의 분산 성질을 유지하면서도 샘플링된 정점과 간선의 수를 극적으로 줄이는 샘플링 전략을 설계한다.
• 동일한 샘플링 예산 하에 훨씬 큰 배치 크기를 가능하게 하여 학습 수렴을 가속화한다.
• 하드웨어 특성(예: 특성 접근 속도)에 따라 조정 가능한 유연하고 효율적인 샘플링 프레임워크를 제공한다.

제안 방법

• 레이어 기반 샘플링에서 추출 없이 추출하는 방식을 포아송 샘플링으로 대체하여 분산을 감소시키고 계산 효율성을 향상시킨다.
• LABOR(LAyer-neighBOR sampling)를 제안한다. 이는 정점 분산 중심의 프레임워크로, 시드 노드들 간의 샘플링을 상관관계 있게 설계하여 이웃의 겹침을 최대화한다.
• 샘플링 문제를 최적화 문제로 공식화한다: 각 정점의 분산이 이웃 샘플링과 동일하게 유지되면서도 샘플링된 정점의 수를 최소화하는 것을 목표로 한다.
• 고정점 반복을 사용하여 최적화 문제를 해결하며, 수렴할 때까지 반복적으로 샘플링 분포를 개선한다.
• LABOR-*, LABOR-1, LABOR-0 변종을 도입한다. 여기서 *는 수렴할 때까지 고정점 반복을 적용하고, 낮은 숫자는 더 빠른 특성 접근을 우선시한다.
• PLADIES를 개발하여 LADIES 레이어 샘플링 프레임워크에 포아송 샘플링을 통합함으로써, 더 우수한 베이스라인 방법을 확보한다.

실험 결과

연구 질문

• RQ1 이웃 샘플링의 낮은 분산 추정기 성질을 유지하면서도 이웃 폭발 문제를 피할 수 있는 샘플링 방법을 설계할 수 있는가?
• RQ2 레이어 기반 샘플링을 어떻게 개선하여 샘플링된 정점과 간선의 수를 줄이되, 모델 품질을 손상시키지 않을 수 있는가?
• RQ3 더 효율적인 샘플링 전략을 사용할 경우, 고정된 샘플링 예산 하에서 배치 크기를 얼마나 크게 늘릴 수 있는가?
• RQ4 고정점 반복이 GNN 학습 맥락에서 수렴성과 샘플링 효율성에 어떤 영향을 미치는가?
• RQ5 다양한 하드웨어 I/O 특성 조건에서 샘플링 변종 선택(예: LABOR-0 대비 LABOR-*)이 성능에 어떤 영향을 미치는가?

주요 결과

• LABOR는 이웃 샘플링 대비 샘플링된 정점 수를 최대 7배, 간선 수를 최대 13배 감소시켜 이웃 폭발 문제를 크게 완화한다.
• 동일한 정점 샘플링 예산 하에서, Reddit 데이터셋에서 LABOR는 이웃 샘플링 대비 최대 112배 큰 배치 크기를 가능하게 하여 수렴을 가속화한다.
• LABOR는 이웃 샘플링과 LADIES보다 더 빠르게 수렴하며, 학습 및 검증 손실 곡선이 더 매끄럽고 안정적이다.
• 고정점 반복은 최종 레이어의 샘플링된 정점 수를 14%~33% 감소시키며, 대부분의 개선 효과는 첫 번째 반복에서 발생한다.
• LABOR-0는 더 적은 샘플링된 간선과 고정점 반복 오버헤드가 없어 런타임 성능이 가장 우수하여, 느린 스토리지 시스템에 최적이다.
• PLADIES는 LADIES의 포아송 샘플링 변종으로, F1 점수에서 원본 LADIES 대비 최대 2% 향상되어 포아송 샘플링의 유용성을 입증한다.