[논문 리뷰] Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions.

Shyam A. Tailor, Felix L. Opolka외 2명|arXiv (Cornell University)|2021. 04. 03.

Advanced Graph Neural Networks참고 문헌 46인용 수 8

한 줄 요약

이 논문은 적응형 필터와 어그리게이터 융합을 사용하는 새로운 GNN 아키텍처를 제안하며, 정점 수에 비례하는 메모리 사용량을 바탕으로 최신 기술 수준의 정확도를 달성함으로써 메모리 소비와 추론 지연을 줄입니다. 이 방법은 신호 처리 기반의 필터링을 통해 각 정점에서 학습 가능한 가중치 행렬을 가능하게 하며, 표준 희소 행렬 곱셈 대비 19% 높은 지연만으로도 표현 능력을 향상시킵니다.

ABSTRACT

Training and deploying graph neural networks (GNNs) remains difficult due to their high memory consumption and inference latency. In this work we present a new type of GNN architecture that achieves state-of-the-art performance with lower memory consumption and latency, along with characteristics suited to accelerator implementation. Our proposal uses memory proportional to the number of vertices in the graph, in contrast to competing methods which require memory proportional to the number of edges; we find our efficient approach actually achieves higher accuracy than competing approaches across 5 large and varied datasets against strong baselines. We achieve our results by using a novel adaptive filtering approach inspired by signal processing; it can be interpreted as enabling each vertex to have its own weight matrix, and is not related to attention. Following our focus on efficient hardware usage, we propose aggregator fusion, a technique to enable GNNs to significantly boost their representational power, with only a small increase in latency of 19% over standard sparse matrix multiplication. Code and pretrained models can be found at this URL: this https URL.

연구 동기 및 목표

• 확장 가능한 배포를 위해 그래프 신경망(GNN)의 메모리 소비와 추론 지연을 줄이기.
• 정점 수에 따라 스케일링되는 GNN 아키텍처를 설계하여 하드웨어 효율성을 향상시키기.
• 계산 비용을 크게 증가시키지 않으면서 표현 능력을 향상시키기.
• 메모리 및 지연 최적화를 통해 효율적인 가속기 구현을 가능하게 하기.
• 더 낮은 메모리와 지연을 사용하면서도 기존 강력한 베이스라인을 뛰어넘는 높은 정확도를 달성하기.

제안 방법

• 신호 처리에서 영감을 얻은 적응형 필터링을 도입하여 각 정점에서 독립적으로 자신의 가중치 행렬을 학습할 수 있도록 함.
• 적응형 필터 메커니즘은 어텐션 메커니즘에 의존하지 않고, 정점별로 특화된 필터링을 통해 표현력을 향상시킴.
• 다양한 집계 함수를 하나의 계산으로 통합하기 위해 어그리게이터 융합을 제안함으로써 중복 작업을 줄임.
• 기존의 간선 비례 메모리 사용 방식과는 달리, 이 아키텍처는 정점 수에 비례하는 메모리 사용량을 사용하여 상당한 메모리 절감 효과를 얻음.
• 융합 기법은 표준 희소 행렬 곱셈 대비 19% 뿐만 아니라 모델 용량을 증가시킴.
• 가속기 우수한 계산 패턴을 지원하도록 설계되어 효율적인 하드웨어 매핑이 가능함.

실험 결과

연구 질문

• RQ1 정점 수에 따라 스케일링되는 메모리 사용을 갖는 GNN 아키텍처를 설계할 수 있는가, 이는 효율성을 향상시키는가?
• RQ2 적응형 필터링 메커니즘이 지연을 증가시키지 않으면서도 GNN 성능을 향상시킬 수 있는가?
• RQ3 어그리게이터 융합이 최소한의 지연 부담으로도 표현 능력을 크게 향상시킬 수 있는가?
• RQ4 제안된 방법이 더 낮은 메모리와 지연 요구 사항에도 불구하고 기존 강력한 베이스라인을 뛰어넘는 높은 정확도를 달성할 수 있는가?
• RQ5 실제 배포를 위한 하드웨어 가속기로 효율적으로 매핑될 수 있는가?

주요 결과

• 제안된 GNN은 다섯 개인 대규모이고 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정확도에서 강력한 베이스라인을 뛰어넘음.
• 메모리 사용은 정점 수에 비례하여 선형적으로 증가하여 간선 비례 방법 대비 메모리 소비가 크게 감소함.
• 최적화된 메모리 접근 및 계산 덕분에 추론 지연이 경쟁 기술들보다 상당히 낮음.
• 어그리게이터 융합은 표준 희소 행렬 곱셈 대비 19% 뿐만 아니라 모델 용량을 증가시킴.
• 더 낮은 메모리와 지연 요구 사항에도 불구하고 기존 접근 방식보다 더 높은 정확도를 보임.
• 메모리 효율성과 규칙적인 계산 패턴 덕분에 가속기 배포에 매우 적합함.