[논문 리뷰] Hydra -- A Federated Data Repository over NDN

Justin Presley, Xi Wang외 9명|arXiv (Cornell University)|2022. 11. 02.

Caching and Content Delivery인용 수 4

한 줄 요약

Hydra는 과학 공동체 간 분산된 환경에서 안전하고 확장성 있고 내구성이 뛰어난 과학 데이터 공유를 가능하게 하는 이름 기반 데이터 네트워킹(NDN) 기반의 분산형, 연합형 데이터 저장소이다. NDN의 데이터 중심 보안, 인라인 캐싱 및 상태 벡터 동기화(SVS) 프로토콜을 활용하여 Hydra는 복제 및 장애 복구를 자동화하고, 파일 삽입(100MB 파일 기준 최대 135.65 Mbps)과 캐시 기반 빠른 검색(최대 185.82 Mbps)에서 높은 성능을 달성한다.

ABSTRACT

Today's big data science communities manage their data publication and replication at the application layer. These communities utilize myriad mechanisms to publish, discover, and retrieve datasets - the result is an ecosystem of either centralized, or otherwise a collection of ad-hoc data repositories. Publishing datasets to centralized repositories can be process-intensive, and those repositories do not accept all datasets. The ad-hoc repositories are difficult to find and utilize due to differences in data names, metadata standards, and access methods. To address the problem of scientific data publication and storage, we have designed Hydra, a secure, distributed, and decentralized data repository made of a loose federation of storage servers (nodes) provided by user communities. Hydra runs over Named Data Networking (NDN) and utilizes the State Vector Sync (SVS) protocol that lets individual nodes maintain a "global view" of the system. Hydra provides a scalable and resilient data retrieval service, with data distribution scalability achieved via NDN's built-in data anycast and in-network caching and resiliency against individual server failures through automated failure detection and maintaining a specific degree of replication. Hydra utilizes "Favor", a locally calculated numerical value to decide which nodes will replicate a file. Finally, Hydra utilizes data-centric security for data publication and node authentication. Hydra uses a Network Operation Center (NOC) to bootstrap trust in Hydra nodes and data publishers. The NOC distributes user and node certificates and performs the proof-of-possession challenges. This technical report serves as the reference for Hydra. It outlines the design decisions, the rationale behind them, the functional modules, and the protocol specifications.

연구 동기 및 목표

• 과학 공동체에서 사용하는 중심화되거나 비구조적인 데이터 저장소의 비효율성과 병목 현상을 해결한다.
• 분산형, 공동체 중심의 데이터 공유를 통해 데이터 게재 및 관리 부담을 줄인다.
• 데이터 중심의 이름 지정과 인라인 캐싱을 통해 데이터 탐색 가능성, 재사용성 및 성능을 향상시킨다.
• 데이터 중심 보안, 암호화 서명 및 자격 증명 관리를 위한 네트워크 운영 센터(NOC)를 통해 강력한 보안과 신뢰를 확보한다.
• SVS 프로토콜을 활용한 자동 복제 및 장애 감지로 시스템의 내구성과 확장성을 달성한다.

제안 방법

• 과학 공동체가 관리하는 스토리지 노드의 연합 네트워크를 구축하여, 각 공동체가 Hydra 연합에 자원을 기여한다.
• 내용 기반 주소 지정, 인라인 캐싱, 데이터 중심 보안을 가능하게 하기 위해 Named Data Networking(NDN)을 기반 전송 계층으로 사용한다.
• 모든 노드 간에 일관된 전역 시스템 상태를 유지하기 위해 상태 벡터 동기화(SVS) 프로토콜을 구현한다.
• 노드 속성 기반으로 국지적으로 계산된 값인 'Favor' 메트릭을 적용하여 지능적이고 자동화된 복제 결정을 유도한다.
• 노드 및 사용자 인증서를 발급하고 검증하기 위해 증명 소지 도전을 통한 NOC를 통해 시스템을 보안화한다.
• 데이터를 청크 단위로 분할하여 다수의 노드에 저장하고, NDN 기반 명령을 사용해 데이터 작업(검색, 삽입, 가져오기, 삭제)을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 과학 공동체에서 중심화되거나 비규칙적인 데이터 관리 시스템에 대한 의존도를 줄일 수 있는 분산형, 연합형 데이터 저장소를 구축할 수 있는가?
• RQ2 NDN의 인라인 캐싱 및 데이터 anycast는 데이터 검색 성능과 확장성 향상에 어느 정도 기여하는가?
• RQ3 'Favor' 메트릭은 분산된 노드 간에 효율적이고 내구성 있고 자동화된 데이터 복제를 유도하는 데 얼마나 효과적인가?
• RQ4 동적이고 분산된 환경에서 SVS 프로토콜은 낮은 지연 시간과 높은 가용성을 확보하면서도 일관된 전역 시스템 상태를 유지할 수 있는가?
• RQ5 실제 테스트베드 환경에서 Hydra의 보안적이고 자동화된 데이터 게재 및 복제 파이프라인의 성능 오버헤드와 신뢰성은 어떠한가?

주요 결과

• 100MB 파일에 대해 주 복제본(rep1)에서 평균 파일 삽입 속도가 135.65 Mbps에 도달했고, 보조 복제본(rep2)에서는 61.72 Mbps를 기록하여 높은 쓰기 확장성을 입증했다.
• 캐시를 활용한 파일 검색 성능은 크게 향상되었으며, 캐시에서 가져올 경우 185.82 Mbps에 도달했고, 캐시 없이 가져올 경우 13.85 Mbps로 비교하여 성능 향상이 뚜렷했다.
• 대용량 파일(1GB)의 경우 제한된 캐시 크기(500MB)로 인해 캐시의 이점이 미미했고, 캐시 없음(13.37 Mbps)과 캐시 있음(13.51 Mbps) 간 속도 차이가 거의 없었다.
• SVS 프로토콜을 통해 노드 간 일관된 상태를 유지하여 신뢰할 수 있는 장애 감지 및 자동 복제가 가능했다.
• 다양한 테스트베드 아키텍처와 데이터 크기에서 Hydra 클라이언트 명령어(Query, Insert, Fetch, Delete)가 기능적 정확성과 강건성을 입증했다.
• FABRIC 테스트베드에 대한 구현을 통해 Hydra가 과학 워크로드를 위한 실사용 가능한 보안성과 확장성 있는 데이터 공유 플랫폼임을 입증했다.