[논문 리뷰] TeraScale SneakerNet: Using Inexpensive Disks for Backup, Archiving, and Data Exchange

Jim Gray, Wyman Chong외 3명|ArXiv.org|2002. 08. 07.

Image Processing and 3D Reconstruction인용 수 32

한 줄 요약

이 논문은 저비용의 독립형 스토리지 브릭을 사용하여 테라바이트 규모 데이터셋을 전송하는 비용 효율적인 방법인 TeraScale SneakerNet을 제안한다. 각 브릭은 GHz 프로세서, 1GB RAM, GbE, 1TB 디스크를 탑재하고 있으며, 단위당 약 $2,000에 가격이 책정된다. 이 시스템은 저비용 스토리지와 현지 네트워킹을 활용하여 넓은 지역 네트워크에 비해 비용이 많이 드는 네트워크를 대체함으로써 백업, 아카이빙, 데이터 교환을 효율적으로 가능하게 한다. 이는 슬론 디지털 스카이 서베이의 대서양 횡단 데이터 전송을 통해 실제 세계에서 검증되었다.

ABSTRACT

Large datasets are most economically trnsmitted via parcel post given the current economics of wide-area networking. This article describes how the Sloan Digital Sky Survey ships terabyte scale datasets both within the US and to Europe and Asia. We 3GT storage bricks (Ghz processor, GB ram, GbpsEthernet, TB disk) for about 2k$ each. These bricks act as database servers on the LAN. They are loaded at one site and read at the second site. The paper describes the bricks, their economics, and some software issues that they raise.

연구 동기 및 목표

• 광역망을 통해 대규모 데이터셋을 전송할 때 발생하는 높은 비용과 비효율성을 해결하기 위해.
• 백업, 아카이빙, 데이터 교환을 위한 확장 가능하고 저비용의 솔루션을 개발하기 위해.
• 고성능 데이터 전송을 위한 저렴한 독립형 스토리지 브릭의 타당성과 성능을 평가하기 위해.
• 대규모 과학적 데이터 배포에서 물리적 데이터 전송("스니커 넷")의 실용성을 입증하기 위해.

제안 방법

• GHz 프로세서, 1GB RAM, GbE, 1TB 디스크를 탑재한 3GT 스토리지 브릭을 설계 및 구축하며, 단위당 약 $2,000의 비용이 들도록 한다.
• 원천 사이트에서 데이터를 로드한 후, 로컬 영역 네트워크(LAN)상의 독립형 데이터베이스 서버로 브릭을 사용한다.
• 물리적 디스크를 표준EMS 우편으로 운송하여 수신 사이트에서 데이터 접근 및 통합을 수행한다.
• 브릭에서 데이터 로딩, 무결성 검사, 네트워크 접근을 관리하기 위한 소프트웨어 스택을 구현한다.
• 수신 사이트의 기존 네트워크 인프라를 활용하여 운반된 디스크에서 데이터를 읽고 활용한다.
• 슬론 디지털 스카이 서베이의 미국 및 해외 사이트로의 실제 데이터 전송을 통해 이 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 저렴한 독립형 스토리지 브릭이 테라바이트 규모 데이터셋의 비용 효율적인 전송을 가능하게 할 수 있는가?
• RQ2 대규모 데이터셋에 대해 물리적 데이터 전송 방식이 광역망 전송 방식에 비해 비용과 성능 측면에서 어떻게 비교되는가?
• RQ3 이러한 시스템을 분산 과학 환경에 구현할 때 발생하는 실용적 과제와 소프트웨어 요구사항은 무엇인가?
• RQ4 이 방법이 정기적이고 신뢰할 수 있는 대규모 과학 데이터의 백업 및 아카이빙을 지원하는 데에 확장 가능한가?

주요 결과

• TeraScale SneakerNet 방식은 고비용 광역망을 통한 테라바이트 규모 데이터 전송 비용을 줄이는 데 성공했다.
• 각 스토리지 브릭은 약 $2,000의 비용으로 프로세서, 메모리, 스토리지 용량을 충분히 제공하여 독립형 데이터베이스 서버로 기능할 수 있다.
• 이 시스템은 슬론 디지털 스카이 서베이의 미국 사이트와 유럽 및 아시아의 해외 파artner 사이에서 데이터 교환을 성공적으로 가능하게 하였다.
• 백업, 아카이빙, 데이터 교환에 효과적이었으며, 대규모 과학적 데이터 배포에 대한 실용성을 입증하였다.