[논문 리뷰] Hardware/Software Co-Programmable Framework for Computational SSDs to Accelerate Deep Learning Service on Large-Scale Graphs

Miryeong Kwon, Donghyun Gouk외 2명|arXiv (Cornell University)|2022. 01. 23.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 FPGA 기반의 계산형 SSD(CSSD)를 사용하여 GNN 워크로드를 직접 실행함으로써 대규모 그래프에서 딥러닝 추론을 가속화하는 하드웨어/소프트웨어 공동 프로그래밍 프레임워크인 HolisticGNN을 제안한다. 계산을 스토리지 근처에 공동 배치하고 PCIe를 통해 그래프 의미 체계 라이브러리를 통한 직접 프로그래밍을 가능하게 함으로써 종단 간 추론 지연 시간과 에너지 소비를 줄였으며, 현대형 GPU 대비 7.1배의 성능 향상과 33.2배의 에너지 효율성 향상을 달성하였다.

ABSTRACT

Graph neural networks (GNNs) process large-scale graphs consisting of a hundred billion edges. In contrast to traditional deep learning, unique behaviors of the emerging GNNs are engaged with a large set of graphs and embedding data on storage, which exhibits complex and irregular preprocessing. We propose a novel deep learning framework on large graphs, HolisticGNN, that provides an easy-to-use, near-storage inference infrastructure for fast, energy-efficient GNN processing. To achieve the best end-to-end latency and high energy efficiency, HolisticGNN allows users to implement various GNN algorithms and directly executes them where the actual data exist in a holistic manner. It also enables RPC over PCIe such that the users can simply program GNNs through a graph semantic library without any knowledge of the underlying hardware or storage configurations. We fabricate HolisticGNN's hardware RTL and implement its software on an FPGA-based computational SSD (CSSD). Our empirical evaluations show that the inference time of HolisticGNN outperforms GNN inference services using high-performance modern GPUs by 7.1x while reducing energy consumption by 33.2x, on average.

연구 동기 및 목표

• 대규모 그래프에서 GNN 추론의 높은 종단 간 지연 시간과 에너지 비효율성 문제를 해결하기 위해, 런타임 동안 전처리 및 데이터 이동이 지배적인 요소임을 고려한다.
• 기존의 스토리지 내 처리(ISP)의 한계를 극복하기 위해 계산형 SSD에서 완전한 프로그래머블성과 하드웨어 독립성을 제공한다.
• 저수준의 하드웨어 또는 스토리지 펌웨어 지식 없이도 고수준의 프로그래밍 인터페이스를 제공함으로써 사용자에게 원활한 경험을 제공한다.
• 소프트웨are와 재구성 가능한 하드웨어를 공동 설계함으로써 그래프 전처리에서부터 추론에 이르기까지 GNN 워크로드의 통합적, 근스토리지 실행을 실현한다.
• 실제 GNN 워크로드에서 고성능 GPU보다 성능과 에너지 효율성 측면에서 뛰어난 성능을 보이는 FPGA 기반의 계산형 SSD의 잠재력을 입증한다.

제안 방법

• 사용자가 고수준의 그래프 의미 체계 라이브러리를 사용해 GNN 알고리즘을 작성하도록 하여 하드웨어 세부 사항을 추상화하는 공동 프로그래밍 프레임워크 설계.
• GNN 전용 연산(예: 노드 샘플링, 임베딩 집합)을 위한 저수준 재구성 가능한 가속화를 제공하기 위해 FPGA 기반 CSSD에 하드웨어 RTL을 구현.
• PCIe를 통한 원격 프로시저 콜(RPC)을 지원하여 호스트가 데이터 이동 없이도 CSSD에서 직접 GNN 계산을 호출할 수 있도록 한다.
• 스토리지 장치 내부에서 그래프 로딩, 인접 리스트 구축, 임베딩 계산을 처리하는 통합된 데이터 처리 파이프라인 통합.
• GNN 추론에 적합한 성능과 면적 제약 간 균형을 맞추기 위해 64개의 처리 요소(PE)를 활용한 하드웨어 최적화.
• 스토리지 계층에서 효율적인 업데이트 연산을 지원함으로써 동적 그래프 변화를 허용하는 가변 그래프 워크로드 지원.

실험 결과

연구 질문

• RQ1 계산형 SSD에서 공동 프로그래밍 가능한 프레임워크가 대규모 그래프에서 GNN 추론의 종단 간 지연 시간을 크게 줄일 수 있는가?
• RQ2 FPGA 기반 CSSD를 통한 근스토리지 처리가 GPU 기반 추론 대비 지연 시간과 에너지 효율성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ3 저수준의 스토리지 또는 하드웨어 복잡성에 노출되지 않은 채 고수준의 사용자 친화적 프로그래밍 모델을 제공하는 것이 가능한가?
• RQ4 기존의 데이터 이동 중심 접근 방식에 비해 전처리, 샘플링, 집합을 포함한 GNN 파이프라인의 통합적 스토리지 내 실행은 얼마나 효과적인가?
• RQ5 낮은 지연 시간 성능을 유지하면서도 동적 그래프 업데이트(예: 삽입 및 삭제)를 효율적으로 지원할 수 있는가?

주요 결과

• HolisticGNN는 대규모 그래프 워크로드에서 고성능 현대형 GPU 대비 종단 간 추론 지연 시간을 7.1배 감소시켰다.
• 프레임워크는 GPU 기반 추론 서비스 대비 에너지 소비를 33.2배 줄여 뛰어난 에너지 효율성을 입증하였다.
• 가변 그래프 작업의 경우 평균 일일 업데이트 지연 시간이 970ms이며, 최악의 누적 지연 시간은 단지 8.4초(총 시간의 0.01%)에 불과했다.
• 고도로 복잡한 그래프를 포함한 다양한 워크로드에 걸쳐 성능 향상이 일관되게 유지되었다. 예를 들어 chameleon 및 youtube 워크로드에서도 동일한 성능 향상이 관찰되었다.
• PCIe를 통한 RPC 사용은 저수준 하드웨어나 펌웨어를 관리할 필요 없이 원활한 통합과 고수준 프로그래밍을 가능하게 하였다.
• 프레임워크는 원시 그래프 로딩에서 추론에 이르기까지 전체 GNN 파이프라인을 스토리지 장치 내부에서 가속화하여 데이터 이동 병목 현상을 완전히 제거하였다.