[논문 리뷰] An Efficient Real-time Data Pipeline for the CHIME Pathfinder Radio Telescope X-Engine

Andre Recnik, Kevin Bandura외 6명|arXiv (Cornell University)|2015. 03. 20.

Radio Astronomy Observations and Technology참고 문헌 7인용 수 9

한 줄 요약

이 논문은 CHIME Pathfinder의 GPU 기반 X엔진을 위한 고성능 소프트웨어 파이프라인인 kotekan을 제시한다. 이는 256개 입력에서 유입되는 4+4비트 복소수 라디오 데이터를 시스템적으로 819 Gb/s 속도로 실시간 처리할 수 있도록 한다. 커널 바이패스 네트워킹, 메모리 풀링, 최적화된 GPU 커널을 활용함으로써, 각 서버당 51.2 Gb/s의 처리 성능를 달성하고, 16台의 서버를 통해 N=256로 효율적으로 확장되어 고속 데이터 처리에서 400 MHz 대역폭 상관관계를 완전히 구현할 수 있다.

ABSTRACT

The CHIME Pathfinder is a new interferometric radio telescope that uses a hybrid FPGA/GPU FX correlator. The GPU-based X-engine of this correlator processes over 819 Gb/s of 4+4-bit complex astronomical data from N=256 inputs across a 400 MHz radio band. A software framework is presented to manage this real-time data flow, which allows each of 16 processing servers to handle 51.2 Gb/s of astronomical data, plus 8 Gb/s of ancillary data. Each server receives data in the form of UDP packets from an FPGA F-engine over the eight 10 GbE links, combines data from these packets into large (32MB-256MB) buffered frames, and transfers them to multiple GPU co-processors for correlation. The results from the GPUs are combined and normalized, then transmitted to a collection server, where they are merged into a single file. Aggressive optimizations enable each server to handle this high rate of data; allowing the efficient correlation of 25 MHz of radio bandwidth per server. The solution scales well to larger values of N by adding additional servers.

연구 동기 및 목표

• CHIME Pathfinder의 하이브리드 FPGA/GPU FX 상관기에서 고대역폭 데이터 처리를 위한 확장 가능하고 실시간 소프트웨어 파이프라인을 설계하기.
• 시스템 비용을 줄이면서도 실시간 성능을 유지하면서 CPU 및 서버당 입력 데이터 대역폭을 최대화하기.
• 16개의 처리 서버를 통해 256개 입력에서 유입되는 819 Gb/s의 4+4비트 복소수 데이터를 효율적으로 처리하기.
• 최소한의 아키텍처 변경으로 N=2048 입력까지의 향후 확장성 지원하기.
• 데이터 수집 파이프라인에서 장애 내성 및 동적 서버 재연결 보장하기.

제안 방법

• 시스템은 C로 작성된 소프트웨어 파이프라인 kotekan을 사용하며, 일반적인 버퍼 객체를 기반으로 하여 스레드 간 안전한 데이터 흐름을 보장하는 FIFO 레이어 버퍼 역할을 한다.
• 데이터는 8개의 10 GbE 링크를 통해 UDP 패킷으로 수신되며, 큰 (32MB–256MB) 프레임으로 통합되고, 커널 바이패스 네트워킹과 DMA 최적화된 메모리 전송을 통해 GPU 공처리기로 전달된다.
• 각 서버는 16개의 GPU(AMD R9 280X 및 R9 270X)를 사용하여 GPU당 3~4개의 데이터 스트림을 처리하며, 4비트 복소수 데이터에 최적화된 GPU 커널을 활용한다.
• 런타임 중 동적 malloc/free 호출을 제거하기 위해 사전 할당된 메모리 풀을 사용하여 메모리 관리를 수행함으로써 성능 향상과 지연 감소를 달성한다.
• 파이프라인은 네트워킹, GPU 처리, GPU 콜백, 후처리, 출력 스레드 등 여러 스레드를 사용하며, 모든 스레드는 버퍼 객체를 통해 동기화된다.
• 출력 데이터는 통합되고 정규화된 후, HDF5를 사용한 저장을 위해 TCP를 통해 중앙 수집 서버로 전송되며, 시퀀스 번호와 스트림 ID를 통해 정확한 시간 및 주파수 정렬을 보장한다.

실험 결과

연구 질문

• RQ1 대규모 전파 간섭계에서 공용 하드웨어 기반으로 실시간 고대역폭 데이터 파이프라인을 효율적으로 구현하는 방법은 무엇인가?
• RQ2 CPU 오버헤드를 최소화하면서도 서버당 51.2 Gb/s 처리 성능를 달성하기 위해 필요한 소프트웨어 및 시스템 수준 최적화는 무엇인가?
• RQ3 다중 GPU 및 다중 스트림 환경에서 GPU 메모리 액세스 및 데이터 전송을 최적화하여 지연을 최소화하고 처리량을 극대화하는 방법은 무엇인가?
• RQ4 N=16에서 N=256로 확장할 때 최소한의 아키텍처 변경으로도 실시간 성능를 유지할 수 있는가?
• RQ5 분산형 실시간 데이터 파이프라인에서 장애 내성 및 동적 서버 재연결을 달성하는 방법은 무엇인가?

주요 결과

• 16台의 서버를 통해 총 819.2 Gb/s의 데이터 처리 속도를 달성하였으며, 256개 입력에서 유입되는 819 Gb/s의 4비트 천체 데이터를 처리하였다.
• 각 서버는 천체 데이터 51.2 Gb/s와 보조 데이터 8 Gb/s를 처리하며, 최대 패킷률은 1초당 1,250만 개의 패킷을 기록하였다.
• 단일 소켓 서버당 51.2 Gb/s의 처리 성능를 유지하여, N=256 입력에서 전체 400 MHz 대역폭 상관관계를 완전히 수행할 수 있었다.
• N=16에서 N=256로의 확장이 효율적으로 이루어졌으며, 향후 전체 CHIME 실험을 위한 N=2048로의 확장 계획이 수립되어 있다.
• 메모리 풀링과 커널 바이패스 네트워킹을 활용하여 런타임 중 동적 메모리 할당을 완전히 제거함으로써 안정성과 성능 향상을 달성하였다.
• 시스템은 장애 내성을 지원한다: 고장난 서버는 수리 후 재연결 가능하며, 데이터 수집이 중단되지 않으며, 재연결 시 영향을 받은 주파수 대역은 복구된다.