[논문 리뷰] ICE: a scalable, low-cost FPGA-based telescope signal processing and networking system

Kevin Bandura, A. N. Bender외 15명|arXiv (Cornell University)|2016. 08. 22.

Radio Astronomy Observations and Technology참고 문헌 23인용 수 5

한 줄 요약

ICE는 라디오, 밀리미터파 및 마이크로미터파 천체망원경에서 고대역폭 신호 처리 및 네트워킹을 위한 확장 가능하고 저비용의 FPGA 기반 시스템을 제공한다. 고유의 FPGA 메인보드와 ARM 코프로세서, FMC 호환 메자닌 보드를 기반으로 하여 정밀한 타이밍, 낮은 EMI 및 고속 데이터 전송을 실현한다. SPT-3G, CHIME, HIRAX에서 테라바이트/초 수준의 데이터 전송 속도와 성공적인 VLBI 프링지 검출을 통해 검증되었다.

ABSTRACT

We present an overview of the 'ICE' hardware and software framework that implements large arrays of interconnected FPGA-based data acquisition, signal processing and networking nodes economically. The system was conceived for application to radio, millimeter and sub-millimeter telescope readout systems that have requirements beyond typical off-the-shelf processing systems, such as careful control of interference signals produced by the digital electronics, and clocking of all elements in the system from a single precise observatory-derived oscillator. A new generation of telescopes operating at these frequency bands and designed with a vastly increased emphasis on digital signal processing to support their detector multiplexing technology or high-bandwidth correlators---data rates exceeding a terabyte per second---are becoming common. The ICE system is built around a custom FPGA motherboard that makes use of an Xilinx Kintex-7 FPGA and ARM-based co-processor. The system is specialized for specific applications through software, firmware, and custom mezzanine daughter boards that interface to the FPGA through the industry-standard FMC specifications. For high density applications, the motherboards are packaged in 16-slot crates with ICE backplanes that implement a low-cost passive full-mesh network between the motherboards in a crate, allow high bandwidth interconnection between crates, and enable data offload to a computer cluster. A Python-based control software library automatically detects and operates the hardware in the array. Examples of specific telescope applications of the ICE framework are presented, namely the frequency-multiplexed bolometer readout systems used for the SPT and Simons Array and the digitizer, F-engine, and networking engine for the CHIME and HIRAX radio interferometers.

연구 동기 및 목표

• 대규모 라디오 및 마이크로미터파 망원경에서의 확장 가능하고 저비용이며 전자기간섭(EMI)이 낮은 신호 처리 시스템의 필요를 해결한다.
• 분산된 FPGA 노드 간에 단일 관측소 기반 오실레이터에서 유도된 중심화된 정밀한 시계를 제공하여 타이밍 제어 잡음과 교차 캐리어를 최소화한다.
• 차세대 망원경에서 1 테라바이트/초를 초과하는 고속 데이터 전송을 지원한다.
• 보로미터 리드아웃 및 간섭계 상관 계산과 같은 다양한 응용 분야를 위한 유연하고 재구성 가능한 프레임워크를 제공한다.
• 물리적 접근이 제한된 고도가 높고 고립된 관측소에서의 원격 운영 및 유지보수를 가능하게 한다.

제안 방법

• Xilinx Kintex-7 FPGA를 기반으로 한 고유의 FPGA 메인보드를 설계하여 제어 및 설정에 사용할 수 있는 통합 ARM 프로세서를 탑재한다.
• 산업 표준 FPGA 메자닌 카드(FMC) 인터페이스를 활용하여 신호 수집 및 처리에 특화된 애플리케이션 기반 메자닌 데리버보드를 지원한다.
• 16슬롯 크레이트에 장착된 ICE 백플레인을 통한 수동형 전체 메시 네트워크를 구현하여 보드 간 및 크레이트 간 고대역폭, 저지연 연결을 실현한다.
• 하드웨어 어레이에서 하드웨어를 자동으로 탐지하고 관리할 수 있는 파이썬 기반 제어 라이브러리를 구현하여 원격 설정 및 운영을 가능하게 한다.
• 5GHz 아날로그 대역폭을 지원하는 고속 8비트 ADC(EV8AQ160)를 통합하여 광대역 디지털화 및 융통성 있는 앨리어싱 전략을 구현한다.
• 재구성 가능한 펌웨어를 통해 다이지타이저, F-엔진, 코너턴링 네트워크 엔진, FX 상관기 등 다양한 역할을 지원하며, 단일 보드에서 다중 크레이트 시스템까지 유연하게 적용 가능하다.

실험 결과

연구 질문

• RQ1 어떻게 하면 마이크로미터파 및 밀리미터파 망원경의 엄격한 EMI 및 타이밍 요구사항을 충족하는 확장 가능하고 저비용의 FPGA 기반 시스템을 설계할 수 있는가?
• RQ2 ICE 시스템의 아키텍처적 선택은 어떻게 하여 고대역폭, 저전력, 고신뢰성의 특성을 유지하면서도 1 테라바이트/초를 초과하는 데이터 전송 속도를 처리할 수 있는가?
• RQ3 동일한 하드웨어 플랫폼이 주파수 다중복합 보로미터 리드아웃 및 고대역폭 간섭계 상관과 같은 다양한 망원경 응용 분야를 얼마나 잘 지원할 수 있는가?
• RQ4 시스템의 펌웨어 및 소프트웨어 프레임워크는 어떻게 분산된 고고도 관측소에서 원격 배포 및 운영을 원활하게 지원하는가?
• RQ5 고역동 범위와 낮은 RFI 오염을 갖춘 매우 장거리 기반 간섭계(VLBI)와 같은 고급 응용 분야를 ICE 시스템이 지원할 수 있는가?

주요 결과

• ICE 시스템은 CHIME 및 SPT-3G를 포함한 대규모 망원경 시스템에서 1 테라바이트/초를 초과하는 데이터 전송 속도를 성공적으로 지원한다.
• CHIME 프로토콜 테스트베드에서 시스템은 정밀한 디지타이징, 채널화, 코너턴링 기능이 오류 없이 사양에 부합하여 정상 작동하였다.
• 크랩 펄서의 400–800 MHz 대역에서 ICE 기반 디지타이징 및 F-엔진 처리를 통해 성공적으로 VLBI 프링지를 검출하였다.
• CHIME, HIRAX, SPT-3G, POLARBEAR2 등 여러 대규모 장치에 배포되었으며, 18개 기관, 5개 대륙에 걸쳐 수백 개의 메인보드가 분산되어 운영되고 있다.
• ICE 펌웨어는 단일 보드 8채널 상관기에서 이중 크레이트 512입력 시스템까지 다양한 구성이 가능하며, RFI 혼합을 줄이기 위해 8비트 양자화를 활용한 VLBI에 적합하게 재구성 가능하다.
• 저전자기간섭(EMI) 설계와 단일 관측소 오실레이터에서 유도된 정밀한 타이밍 동기화가 민감도 10−17 W/√Hz 수준에서 작동하는 감도 높은 보로미터 검출기에서 간섭을 효과적으로 억제하였다.