[논문 리뷰] FastGAE: Fast, Scalable and Effective Graph Autoencoders with Stochastic Subgraph Decoding.

Guillaume Salha-Galvan, Romain Hennequin외 3명|arXiv (Cornell University)|2020. 02. 05.

Advanced Graph Neural Networks참고 문헌 31인용 수 6

한 줄 요약

FastGAE는 노드 샘플링을 통한 확률적 부분그래프 복원을 사용하여 대규모 그래프에서 훈련을 가속화하는 확장 가능한 그래프 오토인코더 및 변분 오토인코더 프레임워크입니다. 기존 방법에 비해 훨씬 빠른 훈련 시간을 기록하면서도 수백만 노드를 가진 그래프에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

Graph autoencoders (AE) and variational autoencoders (VAE) are powerful node embedding methods, but suffer from scalability issues. In this paper, we introduce FastGAE, a general framework to scale graph AE and VAE to large graphs with millions of nodes and edges. Our strategy, based on node sampling and subgraph decoding, significantly speeds up the training of graph AE and VAE while preserving or even improving performances. We demonstrate the effectiveness of FastGAE on numerous real-world graphs, outperforming the few existing approaches to scale graph AE and VAE by a wide margin.

연구 동기 및 목표

• 수백만 개의 노드와 간선을 가진 대규모 그래프에서 그래프 오토인코더(AE) 및 변분 오토인코더(VAE)의 확장성 한계를 해결하기 위해.
• 성능을 유지하거나 향상시키면서 훈련 시간을 크게 줄일 수 있는 훈련 프레임워크를 개발하기 위해.
• 확률적 부분그래프 복원과 노드 샘플링을 활용하여 대규모 그래프에서 효율적인 추론과 훈련을 가능하게 하기 위해.
• 실제 그래프 데이터셋에서 기존 접근법에 비해 확장성과 성능 면에서 뛰어나게 하기 위해.

제안 방법

• 훈련 중에 노드를 샘플링하고 부분그래프를 구성함으로써 계산 비용을 줄이기 위해 확률적 부분그래프 복원을 적용합니다.
• 노드 샘플링을 통해 미니배치 노드를 구성하고, 전체 그래프가 아닌 재구성된 부분그래프를 복원하는 데 사용합니다.
• 오토인코더 아키텍처를 유지하되, 샘플된 부분그래프에 적용하여 의미 있는 노드 표현을 학습할 수 있는 능력을 유지합니다.
• 훈련 목표는 여전히 재구성 손실 기반이지만, 효율성을 높이기 위해 부분그래프에서 계산됩니다.
• 이 방법은 표준 그래프 AE와 변분 그래프 AE(VAE) 모델에 모두 일반적으로 적용 가능합니다.
• 대규모 그래프에서 메모리 및 시간 복잡도를 크게 줄여 끝내는 훈련이 가능합니다.

실험 결과

연구 질문

• RQ1 확률적 부분그래프 복원은 대규모 그래프에서 성능을 희생시키지 않고 그래프 오토인코더의 훈련 속도를 향상시킬 수 있는가?
• RQ2 FastGAE는 기존의 확장 가능한 그래프 AE 및 VAE 방법에 비해 확장성과 표현 품질 측면에서 어떻게 비교되는가?
• RQ3 노드 샘플링이 대규모 환경에서 그래프 오토인코더의 표현 능력을 어느 정도 유지할 수 있는가?
• RQ4 제안된 부분그래프 복원 전략은 실제 그래프에서 하류 작업 성능을 유지하거나 향상시키는가?

주요 결과

• FastGAE는 수백만 노드를 가진 그래프에서 기존의 확장 가능한 그래프 AE 및 VAE 방법에 비해 훈련 시간을 크게 단축시킵니다.
• 기본 방법에 비해 하류 노드 분류 및 링크 예측 작업에서 성능을 유지하거나 향상시킵니다.
• 확률적 부분그래프 복원은 대규모 그래프에서 메모리 및 계산 오버헤드를 줄여 효과적인 훈련을 가능하게 합니다.
• FastGAE는 기존에 그래프 AE 및 VAE의 확장성을 고려해 설계된 몇 안 되는 접근법에 비해 속도와 성능 면에서 훨씬 뛰어난 성능을 보입니다.