[논문 리뷰] Streaming Message Interface: High-Performance Distributed Memory Programming on Reconfigurable Hardware

Tiziano De Matteis, Johannes de Fine Licht외 2명|arXiv (Cornell University)|2019. 09. 07.

Parallel Computing and Optimization Techniques참고 문헌 18인용 수 12

한 줄 요약

이 논문은 재구성 가능한 하드웨어에서 분산 메모리 프로그래밍을 위한 고성능, 저오버헤드 통신 모델인 스트리밍 메시지 인터페이스(SMI)를 제안한다. SMI는 스트리밍 메시지를 통해 직접적인 파이ipelined FPGA 간 통신을 가능하게 하며, 고수준 합성(HLS)과 원활하게 통합된다. 메시지는 순환적으로 전달되는 일시적 채널로 간주되어 호스트 개입을 피하고 전용 FPGA 인터커넥트에서 고대역폭과 저지연을 달성한다.

ABSTRACT

Distributed memory programming is the established paradigm used in high-performance computing (HPC) systems, requiring explicit communication between nodes and devices. When FPGAs are deployed in distributed settings, communication is typically handled either by going through the host machine, sacrificing performance, or by streaming across fixed device-to-device connections, sacrificing flexibility. We present Streaming Message Interface (SMI), a communication model and API that unifies explicit message passing with a hardware-oriented programming model, facilitating minimal-overhead, flexible, and productive inter-FPGA communication. Instead of bulk transmission, messages are streamed across the network during computation, allowing communication to be seamlessly integrated into pipelined designs. We present a high-level synthesis implementation of SMI targeting a dedicated FPGA interconnect, exposing runtime-configurable routing with support for arbitrary network topologies, and implement a set of distributed memory benchmarks. Using SMI, programmers can implement distributed, scalable HPC programs on reconfigurable hardware, without deviating from best practices for hardware design.

연구 동기 및 목표

• 고수준 합성(HLS) 프로그래밍 환경에서 분산 FPGA 시스템에 대한 통합된 고성능 통신 모델의 부족을 해결하기 위해.
• 전용 FPGA 인터커넥트를 통해 직접적인 저지연 FPGA 간 메시징을 가능하게 하여 호스트를 통한 통신 오버헤드를 제거하기 위해.
• 메시지 전달의 의미 체계를 하드웨어 스트리밍 모델과 통합하여 파이ipel린드 HLS 설계에 원활하게 통합할 수 있도록 하기 위해.
• 다중 FPGA 시스템에서 동적 라우팅과 임의의 네트워크 토폴로지 지원을 가능하게 하는, 익숙한 MPI 기반 API를 제공하기 위해.
• OpenCL 호환 인텔 FPGA에서의 참조 구현 및 분산 메모리 벤치마크를 통해 SMI의 실현 가능성과 성능을 입증하기 위해.

제안 방법

• 메시지가 대량 전송되는 것이 아니라 순환적으로 스트리밍되는 스트리밍 통신 모델을 도입하여, 파이ipel린드 HLS 설계에 통합할 수 있도록 한다.
• 데이터 전송 이전에 설정되는 일시적이고 런타임 설정 가능한 채널을 사용하며, MPI 의미 체계를 모방하지만 하드웨어 스트리밍에 최적화되어 있다.
• 고수준 합성 구현은 전용 FPGA 인터커넥트를 대상으로 하며, 임의의 네트워크 토폴로지와 동적 라우팅 지원을 노출한다.
• HPC 개발자에게 익숙한 API를 설계하여 MPI를 기반으로 하되 스트리밍 및 하드웨어 인식 프로그래밍에 적합하게 조정하였다.
• 호스트 메모리와 PCIe 버스의 병목 현상을 피하기 위해 데이터를 고속 직렬 링크(예: 30–40 Gbps)를 통해 FPGAs 간 직접 라우팅한다.
• 참조 구현은 오픈소스로 공개되었으며, OpenCL 호환 인텔 FPGA를 대상으로 하며, 포인트 투 포인트 및 집합적 통신 패tern을 지원한다.

실험 결과

연구 질문

• RQ1 호스트 메모리나 PCIe에 의존하지 않고 파이ipel린드된 고수준 합성된 FPGA 설계에 메시지 전달을 효율적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 어떤 통신 모델이 분산 메모리 시스템에서 저지연, 고대역폭, 유연한 FPGA 간 통신을 가능하게 하는가?
• RQ3 스트리밍 기반 인터페이스는 메시지 전달의 의미 체계를 하드웨어 스트리밍 모델과 통합하면서도 HPC 개발자의 생산성을 유지할 수 있는가?
• RQ4 SMI의 런타임 설정 가능한 라우팅 및 임의의 토폴로지 지원이 다중 FPGA 시스템에서의 확장성과 유연성 향상에 어떻게 기여하는가?
• RQ5 SMI는 HLS 프로그래밍에서 호스트를 통한 또는 RTL 기반 접근 방식에 비해 통신 오버헤드를 얼마나 줄일 수 있는가?

주요 결과

• SMI는 전용 고속 직렬 링크를 통해 호스트를 통하지 않는 직접적인 FPGA 간 통신을 가능하게 하여 PCIe 및 호스트 메모리 병목 현상을 제거한다.
• 스트리밍 모델은 데이터를 순환적으로 전송하고 수신할 수 있도록 하여 파이ipel린드 HLS 설계에 원활하게 통합되며 버퍼링 오버헤드를 감소시킨다.
• 인터페이스는 런타임 설정 가능한 동적 라우팅과 임의의 네트워크 토폴로지를 지원하여 분산 FPGA 시스템의 유연성을 향상시킨다.
• 참조 구현은 SMI가 OpenCL 호환 인텔 FPGA에 효율적으로 합성되고 배포될 수 있음을 입증하였으며, 확장 가능한 HPC 워크로드를 지원한다.
• SMI는 HPC 개발자가 하드웨어 설계의 최적 실천 방식을 벗어나지 않고도 분산 FPGA 프로그램을 작성할 수 있도록 익숙한 MPI 기반 API를 제공한다.
• SMI의 오픈소스 배포는 HPC 및 하드웨어 커뮤니티의 채택과 확장 가능성을 촉진하며, 고성능 계산에서 FPGA의 보다 넓은 활용을 지원한다.