[论文解读] A distributed file system for a wide-area high performance computing infrastructure

Edward Walker|arXiv (Cornell University)|Jan 1, 2010

Advanced Data Storage Technologies参考文献 23被引用 10

一句话总结

本文提出了 XUFS，一种专为 NSF TeraGrid 等高性能计算环境设计的广域分布式文件系统。它通过私有的分布式命名空间，在超过 9,000 个节点间实现无缝、透明的个人文件访问，支持在临时网络断连期间的稳健运行，并在广域环境下实现了与现有高性能文件系统相当或更优的吞吐量。

ABSTRACT

We describe our work in implementing a wide-area distributed file system for the NSF TeraGrid. The system, called XUFS, allows private distributed name spaces to be created for transparent access to personal files across over 9000 computer nodes. XUFS builds on many principles from prior distributed file systems research, but extends key design goals to support the workflow of computational science researchers. Specifically, XUFS supports file access from the desktop to the wide-area network seamlessly, survives transient disconnected operations robustly, and demonstrates comparable or better throughput than some current high performance file systems on the wide-area network.

研究动机与目标

• 为解决在地理分布广泛的节点上，提供高效、可靠的广域高性能计算基础设施中的文件访问挑战。
• 支持计算科学家在面对网络波动的情况下，从桌面到集群节点无缝访问个人文件。
• 设计一种分布式文件系统，使其在广域高性能计算环境中保持高吞吐量与容错能力。
• 实现私有的分布式命名空间，使用户能够跨异构系统与网络条件透明访问其文件。

提出的方法

• XUFS 基于先前分布式文件系统的设计原则，但对其进行了扩展，以支持广域高性能计算工作流。
• 通过实现私有的分布式命名空间，使用户能够跨多个节点透明访问个人文件。
• 系统通过维护本地缓存和一致状态，确保在临时网络断连期间具备稳健性。
• XUFS 采用高效的数据复制与缓存策略，在广域网络上实现高吞吐量。
• 系统与现有 HPC 基础设施集成，实现从桌面到集群的端到端文件访问，且无需应用层更改。
• 设计强调互操作性与性能，利用现有协议并针对低延迟、高带宽访问进行优化。

实验结果

研究问题

• RQ1 如何设计一种分布式文件系统，以在广域高性能计算网络中实现高吞吐量的无缝文件访问？
• RQ2 在大规模分布式环境中，哪些机制可实现临时网络断连期间的可靠运行？
• RQ3 如何高效实现私有的分布式命名空间，以在数千个节点上透明访问用户文件？
• RQ4 与现有高性能文件系统相比，该系统在广域 HPC 环境中可实现怎样的性能特征？
• RQ5 在具有可变网络条件的 9,000 多个节点上扩展时，系统如何保持一致性和可用性？

主要发现

• XUFS 在 NSF TeraGrid 基础设施中成功支持了超过 9,000 台计算机节点之间的透明文件访问。
• 在广域网络环境下，系统表现出与现有高性能文件系统相当或更优的吞吐量。
• 通过维护本地缓存和一致状态，XUFS 实现了在临时网络断连期间的稳健运行。
• 私有的分布式命名空间被有效实现，使用户能够从任意节点无缝访问个人文件。
• 即使在广域部署中典型的可变网络条件下，系统仍保持高可用性与高性能。
• 评估结果表明，XUFS 满足了大规模分布式环境中计算科学研究人员的工作流需求。