[논문 리뷰] Redundancy-Free Computation Graphs for Graph Neural Networks

Zhihao Jia, Sina Lin외 4명|arXiv (Cornell University)|2019. 06. 09.

Advanced Graph Neural Networks참고 문헌 17인용 수 9

한 줄 요약

이 논문은 계층적 구조를 통해 공유된 이웃 집합을 명시적으로 관리함으로써 부과적인 계산과 데이터 전송을 제거하는 새로운 GNN 표현인 계층적 집계 계산 그래프(HAGs)를 소개한다. HAGs 는 집계 비용을 최대 6.3배까지 감소시키고, 모델 정확도를 유지하면서도 엔드투엔드 학습 및 추론 처리량을 각각 최대 2.8배와 2.9배까지 향상시킨다. 이는 실제 그래프에서의 성능 향상을 보여준다.

ABSTRACT

Graph Neural Networks (GNNs) are based on repeated aggregations of information across nodes' neighbors in a graph. However, because common neighbors are shared between different nodes, this leads to repeated and inefficient computations. We propose Hierarchically Aggregated computation Graphs (HAGs), a new GNN graph representation that explicitly avoids redundancy by managing intermediate aggregation results hierarchically, eliminating repeated computations and unnecessary data transfers in GNN training and inference. We introduce an accurate cost function to quantitatively evaluate the runtime performance of different HAGs and use a novel HAG search algorithm to find optimized HAGs. Experiments show that the HAG representation significantly outperforms the standard GNN graph representation by increasing the end-to-end training throughput by up to 2.8x and reducing the aggregations and data transfers in GNN training by up to 6.3x and 5.6x, while maintaining the original model accuracy.

연구 동기 및 목표

• 공통 이웃을 공유하는 노드들 간에 반복적으로 계산되는 활성화 값을 초과하여 발생하는 표준 GNN 계산 그래프의 비효율성을 해결하기 위해.
• 실제 그래프에서 군집 구조를 가진 공통적인 계산 패턴을 포괄하는 새로운 GNN 표현을 설계하기 위해.
• 최적의 HAG를 자동으로 발견할 수 있는 비용 모델과 탐색 알고리즘을 개발하기 위해.
• 모델 정확도를 훼손하지 않으면서도 GNN 학습 및 추론 성능을 크게 향상시키기 위해.

제안 방법

• 공통 이웃을 공유하는 노드들 간에 중간 집계 결과를 재사용하는 계층적 그래프 표현인 HAGs 를 제안한다.
• 계산 및 메모리 액세스 비용을 기반으로 다양한 HAG의 런타임 성능을 정량적으로 추정할 수 있는 비용 모델을 정의한다.
• 서브모듈라리티를 활용하여 최적해의 약 (1−1/e)≈63% 이상의 근사값을 확보하는 HAG를 찾는 새로운 HAG 탐색 알고리즘을 개발한다.
• 이론적 최적성 보장을 증명한다: 순서화된 이웃 집계가 필요한 GNN의 경우 전역 최적성 보장, 나머지 경우 (1−1/e)-근사 보장.
• 실제 그래프에 탐색 알고리즘을 적용하여 임의의 GNN 모델에 최적화된 HAG를 자동으로 생성한다.
• HAG가 모델에 종속되지 않으며 원래 GNN 그래프와 기능적으로 동일하게 유지되어 기존 모델의 정확도를 그대로 유지한다.

실험 결과

연구 질문

• RQ1 실제 그래프에서 공유된 이웃으로 인해 발생하는 부과적인 계산을 줄일 수 있는 새로운 GNN 계산 그래프 표현이 가능한가?
• RQ2 계산 및 메모리 액세스를 최소화하면서도 모델 정확도를 유지하는 HAG를 체계적으로 탐색할 수 있는 방법은 무엇인가?
• RQ3 다양한 GNN 집계 방식에 대해 HAG 탐색 알고리즘에 이론적 성능 보장은 어떤가?
• RQ4 표준 GNN 그래프에 비해 HAG는 엔드투엔드 학습 및 추론 효율을 어느 정도 향상시킬 수 있는가?

주요 결과

• HAGs 는 표준 GNN 그래프 대비 집계 횟수를 최대 6.3배까지 감소시킨다.
• HAGs 는 데이터 전송 크기를 최대 5.6배까지 줄여 메모리 대역폭 압력을 크게 감소시킨다.
• 엔드투엔드 학습 처리량은 최대 2.8배, 추론 처리량은 최대 2.9배 향상되며, 모델 정확도에 하락이 없다.
• HAG 탐색 알고리즘은 비용 모델 기반으로 전역 최적 HAG의 최소 (1−1/e)≈63% 근사값을 확보한다.
• 이 방법은 모든 GNN 모델에 일반적으로 적용 가능하며, HAG가 모델에 종속되지 않고 원래 계산 의미를 그대로 유지한다.