[论文解读] Hydra -- A Federated Data Repository over NDN

Justin Presley, Xi Wang+9 more|arXiv (Cornell University)|Nov 2, 2022

Caching and Content Delivery被引用 4

一句话总结

Hydra 是一个基于命名数据网络（NDN）构建的去中心化、联邦式数据存储库，支持跨分布式社区的安全、可扩展且具备弹性的科学数据共享。通过利用 NDN 的数据中心安全机制、网络内缓存以及状态向量同步（SVS）协议，Hydra 实现了复制和故障恢复的自动化，在文件插入（100 MB 文件最高达 135.65 Mbps）和基于缓存的快速检索（最高达 185.82 Mbps）方面表现出高性能。

ABSTRACT

Today's big data science communities manage their data publication and replication at the application layer. These communities utilize myriad mechanisms to publish, discover, and retrieve datasets - the result is an ecosystem of either centralized, or otherwise a collection of ad-hoc data repositories. Publishing datasets to centralized repositories can be process-intensive, and those repositories do not accept all datasets. The ad-hoc repositories are difficult to find and utilize due to differences in data names, metadata standards, and access methods. To address the problem of scientific data publication and storage, we have designed Hydra, a secure, distributed, and decentralized data repository made of a loose federation of storage servers (nodes) provided by user communities. Hydra runs over Named Data Networking (NDN) and utilizes the State Vector Sync (SVS) protocol that lets individual nodes maintain a "global view" of the system. Hydra provides a scalable and resilient data retrieval service, with data distribution scalability achieved via NDN's built-in data anycast and in-network caching and resiliency against individual server failures through automated failure detection and maintaining a specific degree of replication. Hydra utilizes "Favor", a locally calculated numerical value to decide which nodes will replicate a file. Finally, Hydra utilizes data-centric security for data publication and node authentication. Hydra uses a Network Operation Center (NOC) to bootstrap trust in Hydra nodes and data publishers. The NOC distributes user and node certificates and performs the proof-of-possession challenges. This technical report serves as the reference for Hydra. It outlines the design decisions, the rationale behind them, the functional modules, and the protocol specifications.

研究动机与目标

• 解决科学社区中集中式或临时性数据存储库存在的低效与性能瓶颈问题。
• 通过去中心化、社区驱动的数据共享，减轻数据发布与管理的负担。
• 通过数据中心命名和网络内缓存，提升数据的可发现性、可重用性及性能。
• 通过数据中心安全机制、加密签名以及网络运维中心（NOC）的凭证管理，确保强安全性和信任保障。
• 通过 SVS 协议实现的自动化复制与故障检测，提升系统的弹性与可扩展性。

提出的方法

• 部署由科学社区管理的联邦式存储节点网络，各节点向 Hydra 联盟贡献资源。
• 以命名数据网络（NDN）作为底层传输层，支持基于内容的寻址、网络内缓存和数据中心安全机制。
• 实现状态向量同步（SVS）协议，以在所有节点间保持系统状态的一致性全局视图。
• 应用“Favor”度量——一种基于节点属性本地计算的值——以指导智能、自动化的复制决策。
• 通过网络运维中心（NOC）实现系统安全，NOC 通过持有证明挑战机制签发并验证节点与用户证书。
• 使用基于 NDN 的命令支持数据操作（查询、插入、获取、删除），数据被拆分为块并在多个节点间存储。

实验结果

研究问题

• RQ1 如何构建一个去中心化、联邦式的数据存储库，以减少科学社区对集中式或临时性数据管理系统的依赖？
• RQ2 NDN 的网络内缓存与数据任播机制在多大程度上能够提升数据检索性能与可扩展性？
• RQ3 “Favor”度量在指导跨分布式节点的高效、可靠且自动化的数据复制方面效果如何？
• RQ4 SVS 协议是否能在动态、去中心化的环境中，以低延迟和高可用性维持一致的全局系统状态？
• RQ5 Hydra 的安全、自动化数据发布与复制流水线在真实试验床环境下的性能开销与可靠性如何？

主要发现

• 对于 100 MB 的文件，Hydra 在主副本（rep1）上实现了平均 135.65 Mbps 的文件插入速度，在次级副本（rep2）上达到 61.72 Mbps，表明具备强大的写入可扩展性。
• 缓存显著提升了文件检索性能：当从缓存中获取 100 MB 文件时，最高可达 185.82 Mbps，而未使用缓存时仅为 13.85 Mbps。
• 对于大文件（1 GB），由于缓存容量有限（500 MB），缓存带来的性能提升微乎其微，未缓存与缓存速度相近（分别为 13.37 Mbps 和 13.51 Mbps）。
• 系统通过 SVS 协议成功在各节点间维持了状态一致性，实现了可靠的故障检测与自动复制。
• Hydra 客户端命令（查询、插入、获取、删除）已在多种试验床拓扑结构和不同数据规模下得到验证，确认了其功能正确性与鲁棒性。
• 在 FABRIC 试验床上的部署证明了 Hydra 作为生产级、安全且可扩展的科学工作负载数据共享平台的可行性。