[논문 리뷰] Transparent Live Code Offloading on FPGA

Roberto Rigamonti, Baptiste Delporte외 2명|arXiv (Cornell University)|2016. 09. 01.

Parallel Computing and Optimization Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 코드 수정이나 사전 배포된 비트스트림이 필요 없이 런타임에 계산적으로 집약적인 코드 조각을 FPGA로 동적으로 오프로딩할 수 있는 투명하고 런타임 기반 프레임워크를 제시한다. 런타임에 LLVM 중간 표현(Intermediate Representation)을 분석함으로써 시스템은 핫스팟을 식별하고 JIT 컴파일을 통해 사전 프로그래밍된 데이터 플로우 오버레이를 FPGA에서 재구성하며, 최소한의 오버헤드로 실시간 가속을 달성하여 응용 프로그램 인식형 하드웨어 가속을 가능하게 한다.

ABSTRACT

Even though it seems that FPGAs have finally made the transition from research labs to the consumer devices' market, programming them remains challenging. Despite the improvements made by High-Level Synthesis (HLS), which removed the language and paradigm barriers that prevented many computer scientists from working with them, producing a new design typically requires at least several hours, making data- and context-dependent adaptations virtually impossible. In this paper we present a new framework that off-loads, on-the-fly and transparently to both the user and the developer, computationally-intensive code fragments to FPGAs. While the performance should not surpass that of hand-crafted HDL code, or even code produced by HLS, our results come with no additional development costs and do not require producing and deploying a new bit-stream to the FPGA each time a change is made. Moreover, since optimizations are made at run-time, they may fit particular datasets or usage scenarios, something which is rarely foreseeable at design or compile time. Our proposal revolves around an overlay architecture that is pre-programmed on the FPGA and dynamically reconfigured by our framework to execute code fragments extracted from the Data Flow Graph (DFG) of computational intensive routines. We validated our solution using standard benchmarks and proved we are able to off-load to FPGAs without developer's intervention.

연구 동기 및 목표

• 기존 FPGA 프로그래밍 방식, 특히 고수준 합성(High-Level Synthesis, HLS)에서 요구하는 장기적인 컴파일 및 배포 주기로 인한 높은 개발 비용과 유연성 부족 문제를 해결하기 위해.
• 개발자 개입 없이 응용 프로그램 코드나 pragma 애너테이션을 변경하지 않고도 런타임에 계산적으로 집약적인 코드 조각을 자동으로 FPGA로 오프로딩할 수 있도록 하기 위해.
• 실제 워크로드와 입력 데이터에 기반해 FPGA 功能을 런타임에 적응적으로 조정함으로써 정적 최적화나 사전 컴파일된 비트스트림의 한계를 극복하기 위해.
• 개발자와 최종 사용자 모두에게 언어에 구애받지 않고 투명한 하드웨어 가속을 제공함으로써 FPGA 도입 장벽을 낮추기 위해.
• 실시간으로 성능이 중요한 코드 영역을 식별하고 분석하며, 실시간으로 가속을 제공하는 완전히 동적이고 즉각적인 재구성 시스템을 구현함을 보여주기 위해.

제안 방법

• 낮은 오버헤드의 성능 모니터를 사용해 응용 프로그램 실행을 런타임에 모니터링하여 자원 소비가 가장 많은 코드 조각(실행 시간 또는 메모리 접근 횟수 기준)을 식별한다.
• 식별된 핵심 코드 영역의 제어 흐름 그래프(Control Flow Graph, CFG)와 데이터 흐름 그래프(Data Flow Graph, DFG)를 LLVM 중간 표현(LLVM Intermediate Representation, IR)에서 추출한다.
• 즉각 컴파일(Just-In-Time, JIT) 컴파일러가 스텁 코드를 생성하고 DFG를 사전 프로그래밍된 데이터 플로우 오버레이(DFE)에 대한 하드웨어 구성으로 컴파일한다.
• DMA 전송을 통해 PCIe 인터페이스를 통해 DFE를 실시간으로 재구성하며, 간편함과 유연함을 고려한 데이터 전송 프로토콜을 사용하지만, 압축이 없어 75%의 대역폭 오버헤드가 발생한다.
• CPU의 관여를 최소화하기 위해 비동기적이고 비차단적인 데이터 전송을 사용하며, 구성 및 데이터 전송은 메인 응용 프로그램 흐름과 별도로 처리된다.
• 이 프레임워크는 일반화된 설계로 모든 FPGA를 지원하며, DFE는 가용 자원에 맞게 매개변수화된 크기로 설계되어 있다.

실험 결과

연구 질문

• RQ1 개발자 간섭 없이 계산적으로 집약적인 코드 조각을 런타임에 자동으로 식별하고 FPGA로 오프로딩할 수 있는가?
• RQ2 사전에 새로운 비트스트림을 배포하지 않고도 최소한의 성능 오버헤드로 실시간 FPGA 재구성을 달성할 수 있는가?
• RQ3 동적이고 데이터 기반 최적화가 정적 HLS 컴파일에 비해 성능 향상에 얼마나 기여하는가?
• RQ4 실세계 워크로드에서 런타임 재구성 비용과 성능 향상 사이의 트레이드오프를 어떻게 처리하는가?
• RQ5 완전히 LLVM IR 수준에서 작동하는 언어에 구애받지 않고 투명한 가속 프레임워크를 구축할 수 있는가?

주요 결과

• 시스템은 실시간으로 코드 조각을 FPGA로 오프로딩하며, 평가된 사례에서 전체 재구성 과정(장치 배치 및 연결 포함)에 약 1.18초가 소요되었다.
• JIT 컴파일 단계는 16.7ms 내로 완료되었고, 최종 DFE 구성 다운로드에는 단지 2.1ms가 소요되어 낮은 런타임 재구성 지연을 입증했다.
• 데이터 전송 프로토콜은 매 32비트의 데이터당 128비트를 전송함으로써 75%의 오버헤드를 유발했으며, 이로 인해 유효한 PCIe 대역폭은 약 230MB/s(압축 비효율성 고려 시 약 57.5MB/s)로 제한되었다.
• 이러한 제약에도 불구하고, 영상 처리 벤치마크에서 시스템은 순수 소프트웨어 대비 31 프레임/초의 프레임 레이트를 달성했으며, 향후 데이터 전송 최적화로 더 큰 향상 여지가 있음을 시사했다.
• 프레임워크는 17개의 입력, 1개의 출력, 16개의 계산 노드를 가진 컨볼루션 커널을 성공적으로 식별하고 오프로딩하여 DFG 수준에서의 동적 코드 오프로딩의 가능성을 입증했다.
• 시스템은 투명하게 작동한다: 코드 수정이 필요 없으며, pragma도 필요 없고, 개발자가 FPGA 존재를 인지할 필요가 없어 원활한 하드웨어 가속을 가능하게 한다.