[论文解读] A data Grid testbed environment in Gigabit WAN with HPSS

A. Manabe, Kohki Ishikawa+12 more|ArXiv.org|Jun 12, 2003

Distributed and Parallel Computing Systems参考文献 1被引用 3

一句话总结

本文提出了一项高性能数据网格测试平台，通过SuperSINET的1-Gbps网络连接ICEPP与KEK，将HPSS作为LHC级别数据的可扩展存储解决方案。利用NorduGrid中间件和GSI增强型pftp，研究评估了在高速广域网（WAN）环境下HPSS的性能，发现由于延迟影响，WAN访问速度约为局域网（LAN）速度的一半，并识别出当pftpd与磁盘移动器部署在不同主机时的架构瓶颈。

ABSTRACT

For data analysis of large-scale experiments such as LHC Atlas and other Japanese high energy and nuclear physics projects, we have constructed a Grid test bed at ICEPP and KEK. These institutes are connected to national scientific gigabit network backbone called SuperSINET. In our test bed, we have installed NorduGrid middleware based on Globus, and connected 120TB HPSS at KEK as a large scale data store. Atlas simulation data at ICEPP has been transferred and accessed using SuperSINET. We have tested various performances and characteristics of HPSS through this high speed WAN. The measurement includes comparison between computing and storage resources are tightly coupled with low latency LAN and long distant WAN.

研究动机与目标

• 通过HPSS作为可扩展存储解决方案，建立用于大规模高能物理（HEP）数据处理的高速网格测试平台。
• 在与本地LAN条件对比的情况下，评估HPSS在高速广域网（SuperSINET）上的性能表现。
• 通过GSI增强型pftp将网格安全基础设施（GSI）集成到HPSS中，实现在网格环境中安全、可扩展的数据访问。
• 识别HPSS数据传输中的性能瓶颈，特别是当pftpd与磁盘移动器位于不同主机时的情况。
• 评估使用GSI增强型pftp作为HPSS-网格集成临时解决方案的可行性与性能表现。

提出的方法

• 在ICEPP与KEK之间通过SuperSINET连接的1-Gbps以太网环境中，部署了使用NorduGrid中间件的网格测试平台。
• 在KEK集成120TB HPSS作为集中式存储系统，配备磁盘移动器与磁带移动器，使用HPSS 4.3和pftp进行数据访问。
• 使用netperf测量TCP带宽与延迟，使用HPSS客户端API测量文件传输速度，开展端到端性能测量。
• 评估来自LBL的GSI增强型pftp作为HPSS的网格兼容接口，与标准pftp和GridFTP进行比较。
• 使用2GB文件测量LAN与WAN环境下的传输性能，变化参数包括缓冲区大小、并行会话数量及数据路径配置。
• 分析客户端、磁盘移动器与pftpd服务器之间的通信模式，以识别数据流中的性能瓶颈。

实验结果

研究问题

• RQ1 在高速网格环境中，广域网延迟对HPSS数据传输性能的影响如何，相较于局域网情况？
• RQ2 在网格环境中，使用GSI增强型pftp与标准pftp访问HPSS的性能影响有何差异？
• RQ3 当pftpd服务器与磁盘移动器分离部署在不同主机时，对端到端数据传输吞吐量有何影响？
• RQ4 在1-Gbps广域网上，HPSS在并发多流传输下的可扩展性极限是什么？
• RQ5 GSI增强型pftp能否作为HPSS与网格基础设施集成的可行临时解决方案？

主要发现

• 尽管丢包率极低（<0.1%），使用HPSS pftp和客户端API的广域网访问速度约为局域网速度的一半，主要由于往返时间（RTT）为3–4 ms。
• 当TCP缓冲区大小超过0.5MB后，网络吞吐量趋于饱和，继续增大缓冲区至1MB以上不再带来性能提升。
• 使用最多四个并行TCP流可在缓冲区大小达100KB时提升吞吐量，但当缓冲区大小超过1MB后，多个并行流无法进一步提升聚合速度。
• 在单流场景下，GSI增强型pftp与标准pftp的传输时间相当；但当pftpd与磁盘移动器位于不同主机时，传输速度减半，原因在于增加了两次网络跳变。
• 在GSI增强型pftp中，数据路径需经过两次网络跳变（磁盘移动器 → pftpd → 客户端），而标准pftp为直接路径（客户端 → 磁盘移动器），导致性能下降。
• HPSS 5.1中的pdata-push协议可通过减少协议握手延迟提升性能，但测试环境中尚未可用。