[論文レビュー] ICE: a scalable, low-cost FPGA-based telescope signal processing and networking system

Kevin Bandura, A. N. Bender+15 more|arXiv (Cornell University)|Aug 22, 2016

Radio Astronomy Observations and Technology参考文献 23被引用数 5

ひとこと要約

ICEは、電波・ミリ波・サブミリ波電波望遠鏡における高帯域幅信号処理およびネットワーキングのためのスケーラブルで低コストなFPGAベースのシステムを提供する。ARMコプロセッサとFMC互換メザニン・ボードを備えたカスタムFPGAマザーボードを基盤とし、正確なタイミング制御、低EMI、高スルーレットを実現。SPT-3G、CHIME、HIRAXで実証され、1秒あたりテラバイトレベルのデータレートと、成功したVLBIフレア検出を達成した。

ABSTRACT

We present an overview of the 'ICE' hardware and software framework that implements large arrays of interconnected FPGA-based data acquisition, signal processing and networking nodes economically. The system was conceived for application to radio, millimeter and sub-millimeter telescope readout systems that have requirements beyond typical off-the-shelf processing systems, such as careful control of interference signals produced by the digital electronics, and clocking of all elements in the system from a single precise observatory-derived oscillator. A new generation of telescopes operating at these frequency bands and designed with a vastly increased emphasis on digital signal processing to support their detector multiplexing technology or high-bandwidth correlators---data rates exceeding a terabyte per second---are becoming common. The ICE system is built around a custom FPGA motherboard that makes use of an Xilinx Kintex-7 FPGA and ARM-based co-processor. The system is specialized for specific applications through software, firmware, and custom mezzanine daughter boards that interface to the FPGA through the industry-standard FMC specifications. For high density applications, the motherboards are packaged in 16-slot crates with ICE backplanes that implement a low-cost passive full-mesh network between the motherboards in a crate, allow high bandwidth interconnection between crates, and enable data offload to a computer cluster. A Python-based control software library automatically detects and operates the hardware in the array. Examples of specific telescope applications of the ICE framework are presented, namely the frequency-multiplexed bolometer readout systems used for the SPT and Simons Array and the digitizer, F-engine, and networking engine for the CHIME and HIRAX radio interferometers.

研究の動機と目的

• 大規模な電波およびサブミリ波望遠鏡における、スケーラブルで低コストかつ低電磁干渉（EMI）の信号処理システムのニーズに対応すること。
• 1つの観測所由来の発振器から、分散型FPGAノードにわたる集中型で正確なクロックを供給し、タイミングジッターとクロストークを最小限に抑えること。
• 次世代望遠鏡における高度なデジタルバックエンド要件を満たすため、1秒あたり1テラバイトを超えるデータレートをサポートすること。
• ボロメータ読み出しや干渉計相関処理を含む多様なアプリケーションに対応する、柔軟で再構成可能なフレームワークを提供すること。
• 物理的アクセスが制限される遠隔地・高高度の観測所において、リモート運用および保守を可能にすること。

提案手法

• Xilinx Kintex-7 FPGAを基盤とするカスタムFPGAマザーボードを設計し、制御および設定用に統合されたARMプロセッサを備える。
• 業界標準のFPGAメザニン・カード（FMC）インターフェースを活用し、信号取得および処理に特化したアプリケーション固有のメザニン・ドアーボードをサポートする。
• 16スロットのクレートに搭載されたICEバックプレーンを介したパassiveフルメッシュネットワークを実装し、ボード間およびクレート間での高帯域幅・低遅延接続を実現する。
• ハードウェアアレイにおける自動検出と管理を可能にするPythonベースの制御ライブラリを導入し、リモートでの構成および運用を可能にする。
• 5 GHzアナログ帯域幅を備えた高速8ビットADC（EV8AQ160）を統合し、ワイドバンドデジタイゼーションおよび柔軟な aliasing 策略を可能にする。
• 再構成可能なファームウェアにより、デジタイザ、Fエンジン、コーナートルネットワークエンジン、およびFX相関器の複数の役割をサポートし、単一ボードからマルチクレートシステムまで適応可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、サブミリ波およびミリ波望遠鏡の厳しいEMIおよびタイミング要件を満たすスケーラブルで低コストなFPGAベースのシステムを設計できるか？
• RQ2 ICEシステムが、遠隔環境における低消費電力および高信頼性を維持しつつ、1秒あたり1テラバイトを超えるデータレートを処理できるアーキテクチャ的選択は何か？
• RQ3 1つのハードウェアプラットフォームが、周波数多重ボロメータ読み出しや高帯域幅干渉計相関処理を含む多様な望遠鏡アプリケーションをどの程度までカバーできるか？
• RQ4 システムのファームウェアおよびソフトウェアフレームワークは、分散型で高高度な観測所において、シームレスなリモートデプロイと運用をどのように可能にするか？
• RQ5 ICEシステムは、高ダイナミックレンジとRFI汚染の低減を実現する、非常に長基線干渉計測定（VLBI）のような高度なアプリケーションをサポートできるか？

主な発見

• ICEシステムは、CHIMEおよびSPT-3Gを含む大規模な望遠鏡システムにおいて、1秒あたり1テラバイトを超えるデータレートを正常にサポートした。
• CHIME Pathfinderでは、デジタイゼーション、チャンネル化、コーナートル処理がエラーなく、仕様通りに正常に動作した。
• 400–800 MHz帯域で、クモール・パulsarを対象に、ICEベースのデジタイゼーションおよびFエンジン処理により、成功したVLBIフレアが検出された。
• CHIME、HIRAX、SPT-3G、POLARBEAR2の複数の大規模機器に展開され、5大陸にまたがる18の機関に数百枚のマザーボードが配備された。
• ICEファームウェアは、単一ボード8チャネル相関器から二重クレート512入力システムまで柔軟な構成をサポートし、8ビット量子化によるRFI混合の低減を目的としたVLBI用に適応可能である。
• 低EMI設計と1つの観測所由来発振器からの正確なタイミング同期により、10−17 W/√Hzの感度で動作する感度の高いボロメータ検出器における干渉を効果的に抑制した。