[论文解读] A Flexible High Demand Storage System for MAGIC-I and MAGIC-II using GFS

E. Carmona, J. A. Coarasa+1 more|arXiv (Cornell University)|Jul 6, 2009

Astrophysics and Cosmic Phenomena参考文献 3被引用 3

一句话总结

本文提出了一种可扩展、可靠且灵活的高性能存储系统，用于 MAGIC-I 和 MAGIC-II 切伦科夫望远镜，基于 Red Hat 集群的全局文件系统（GFS）。该系统支持超过 1.2 kHz 的持续数据采集（DAQ）写入速率，可实现并发数据处理（如压缩、磁带备份、在线分析），并通过 RAID5、多路径 I/O 和自动隔离机制实现容错，实现每晚超过 1 TB 的数据存储，停机时间极少，并具备无缝可扩展性。

ABSTRACT

MAGIC-I is currently the Imaging Cherenkov Telescope with the worldwide largest reflector currently in operation. The initially achieved low trigger threshold of 60 GeV has been further reduced by means of a novel trigger that allows the telescope to record gamma ray showers down to 25 GeV. The high trigger rate combined with the 2 GHz signal sampling rate results in large data volumes that can reach 1 TByte per night for MAGIC-I and even more with the second MAGIC telescope coming soon into operation. To deal with the large storage requirements of MAGIC-I and MAGIC-II, we have installed the distributed file system GFS and a cluster of computers with concurrent access to the same shared storage units. The system can not only handle a sustained DAQ write rate above 1.2 kHz for MAGIC-I, but also allows other nodes to perform simultaneous concurrent access to the data on the shared storage units. Various simultaneous tasks can be used at any time, in parallel with data taking, including data compression, taping, on-line analysis, calibration and analysis of the data. The system is designed to quickly recover after the failure of one node in the cluster and to be easily extended as more nodes or storage units are required in the future.

研究动机与目标

• 解决 MAGIC 望远镜产生的高数据量和 I/O 需求，其在总和触发（Sum Trigger）操作期间的数据率高达 60 MB/s。
• 在多个节点之间提供一致的共享文件系统，以支持并发数据处理任务，如压缩、磁带备份和在线分析。
• 通过 RAID5、多路径 I/O 和自动隔离故障节点机制，确保高可靠性。
• 实现动态资源分配和系统可扩展性，以适应即将投入使用的 MAGIC-II 望远镜（1039 个像素，数据率翻倍）。
• 设计一种系统，可在节点或存储故障后实现快速恢复，且不会导致数据损坏。

提出的方法

• 部署了包含七个节点的 Red Hat 集群套件，每个节点均可直接读写连接到共享光纤通道（Fibre Channel）的 RAID 存储单元。
• 实现全局文件系统（GFS），在所有集群节点之间提供一致的共享文件系统视图。
• 使用专用的 1 Gbps 以太网用于集群消息通信（CMAN），并使用独立的光纤通道网络处理存储 I/O。
• 配置 RAID5 阵列并配备备用磁盘，以确保数据完整性，并在磁盘故障时实现自动故障转移。
• 通过 multipath 守护进程启用多路径 I/O，以维持冗余光纤通道路径的连接性。
• 使用 CMAN 和 fence 服务自动检测并隔离故障节点，通过阻止对共享存储的访问来防止数据损坏。

实验结果

研究问题

• RQ1 如何设计一种高性能、可扩展且可靠的存储系统，以处理切伦科夫望远镜每晚超过 1 TB 的数据，且在高触发率下运行？
• RQ2 当多个节点同时访问共享存储时，哪些机制可确保数据一致性和容错性？
• RQ3 系统如何在不产生 I/O 瓶颈的情况下支持并发数据处理任务（如压缩、磁带备份、在线分析）？
• RQ4 在升级至第二台望远镜（数据率更高）时，哪些策略可实现无缝可扩展性？
• RQ5 如何自动检测和隔离节点及存储故障，以防止数据损坏？

主要发现

• 系统在 MAGIC-I 上持续实现了超过 1.2 kHz 的 DAQ 写入速率，在高触发率观测期间最高达到 60 MB/s。
• 在高负载条件下，系统每晚处理的数据量超过 1 TB，原始数据速率在总和触发操作期间达到 60 MB/s。
• 基于 GFS 的集群支持对数据的并发访问，用于压缩、磁带备份、在线分析和校准，I/O 性能与 DAQ 写入速度相当。
• 系统通过自动隔离和 CMAN 机制在数秒内从节点故障中恢复，防止了数据损坏。
• 存储架构支持动态扩展，目前光纤通道交换机端口使用率不足 30%，可支持未来扩展至最多 100 个节点。
• 通过 RAID5 配合自动备用磁盘替换和多路径 I/O，系统实现了高可靠性，在磁盘或路径故障期间未发生任何数据丢失。