[논문 리뷰] Sampling methods for efficient training of graph convolutional networks: A survey

Xin Liu, Mingyu Yan외 4명|arXiv (Cornell University)|2021. 03. 10.

Advanced Graph Neural Networks참고 문헌 98인용 수 13

한 줄 요약

이 종합적 서베이는 그래프 컨volution 네트워크(GCNs)의 효율적 훈련을 위한 샘플링 방법에 대한 포괄적인 분류 체계를 제공하며, 이를 노드 기반, 레이어 기반, 서브그래프 기반, 이종 샘플링으로 분류한다. 각 방법의 메커니즘을 분석하고 강점과 한계를 비교하며, 확장성, 하드웨어 효율성, 깊은 GCN 훈련을 위한 주요 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have received significant attention from various research fields due to the excellent performance in learning graph representations. Although GCN performs well compared with other methods, it still faces challenges. Training a GCN model for large-scale graphs in a conventional way requires high computation and storage costs. Therefore, motivated by an urgent need in terms of efficiency and scalability in training GCN, sampling methods have been proposed and achieved a significant effect. In this paper, we categorize sampling methods based on the sampling mechanisms and provide a comprehensive survey of sampling methods for efficient training of GCN. To highlight the characteristics and differences of sampling methods, we present a detailed comparison within each category and further give an overall comparative analysis for the sampling methods in all categories. Finally, we discuss some challenges and future research directions of the sampling methods.

연구 동기 및 목표

• 대규모 그래프에서 전체 배치(full-batch) 방법을 사용할 경우 발생하는 높은 계산 및 저장 비용 문제를 해결한다.
• 샘플링 메커니즘에 기반해 기존의 샘플링 방법을 체계적으로 분류하고 분석한다.
• 다양한 샘플링 전략 간의 효율성, 확장성, 성능 간의 상충 관계를 부각시킨다.
• 샘플링 기반 GCN에서의 열린 과제를 규명하고, 향후 연구 방향을 제안한다. 이는 하드웨어 인지 설계 및 이종 그래프를 포함한다.
• 체계적인 방법론적 통찰을 통해 확장성 있고 효율적이며 깊은 GCN 훈련의 개발을 지원한다.

제안 방법

• 샘플링 메커니즘에 따라 샘플링 방법을 네 가지 유형으로 분류한다: 노드 기반, 레이어 기반, 서브그래프 기반, 이종 샘플링.
• 각 유형을 분석할 때 샘플링 전략, 집계 메커니즘, 계산 효율성을 고려한다.
• 유사성, 확장성, 특징 보존 정도 등의 기준을 사용해 각 유형 내의 방법들을 비교한다.
• 모든 유형 간의 통합적 비교를 통해 상대적 장점과 한계를 부각시킨다.
• GPU, FPGA, 이종 가속기 등 플랫폼 고유의 특성을 활용해 하드웨어 우수 샘플링을 제안한다.
• 노드 및 간선 유형의 균형을 유지하고 복잡한 관계를 모델링함으로써 샘플링 방법을 이종 그래프로 확장할 것을 제안한다.

실험 결과

연구 질문

• RQ1 노드 기반, 레이어 기반, 서브그래프 기반, 이종 샘플링 등의 다양한 샘플링 메커니즘은 효율성, 확장성, 성능 측면에서 어떻게 비교될 수 있는가?
• RQ2 GCN 훈련에서 샘플링 정확도와 계산 비용 간의 핵심 상충 관계는 무엇인가?
• RQ3 특정 하드웨어 플랫폼에 최적화된 샘플링 방법은 어떻게 설계되어야 하며, 이를 통해 훈련 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 기존의 샘플링 방법을 이종 그래프에 적용할 때 발생하는 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 과도한 스무딩을 완화할 수 있도록 샘플링 전략를 설계할 수 있는가? 만약 가능하다면, 그 방법은 무엇인가?

주요 결과

• 서브그래프 기반 샘플링 방법은 배치당 노드 및 간선 수를 줄임으로써 대규모 그래프에서 더 뛰어난 확장성과 성능을 달성한다.
• 노드 기반 및 레이어 기반 샘플링 방법은 소규모에서 중간 규모의 그래프에 더 효율적이지만, 대규모 그래프에서는 확장성에 뒷받침되지 못한다.
• 지식 그래프나 학술 네트워크와 같이 노드 및 간선 유형이 다양한 실제 복잡한 그래프를 모델링하기 위해서는 이종 샘플링 방법이 필수적이다.
• 하드웨어 인지 샘플링은 샘플링 단계를 크게 가속화할 수 있으며, 이는 대규모 GCN 훈련에서 점점 더 중요한 병목 현상이 되고 있다.
• 특징 다양성을 보존하고 과도한 스무딩을 방지하는 샘플링 방법은 깊은 GCN 아키텍처의 구현에 필수적이다.
• 다양한 그래프 유형과 규모에 걸쳐 성능과 일반화 능력을 향상시키기 위해 여러 샘플링 전략을 통합한 통합 프레임워크가 유용하다.