[논문 리뷰] CASTOR status and evolution

Jean-Philippe Baud, B. Couturier외 5명|ArXiv.org|2003. 05. 28.

Distributed and Parallel Computing Systems인용 수 15

한 줄 요약

CASTOR, CERN의 허브 스토리지 관리 시스템으로, 1999년부터 고에너지물리학(High-Energy Physics, HEP) 작업을 위한 페타바이트 규모의 데이터를 지원하도록 발전해 왔으며, 최대 300 MB/s의 고속 전송을 통해 LHC 데이터 과제를 성공적으로 수행했다. 주요 발전 사항으로는 2GB 이상 파일 지원 및 GridFTP와 SRM를 통한 그리드 통합이 있었으며, 현재는 비용 효율적인 스토리지 미디어로의 이관과 데이터 분석 워크로드 최적화를 진행 중이다.

ABSTRACT

In January 1999, CERN began to develop CASTOR ("CERN Advanced STORage manager"). This Hierarchical Storage Manager targetted at HEP applications has been in full production at CERN since May 2001. It now contains more than two Petabyte of data in roughly 9 million files. In 2002, 350 Terabytes of data were stored for COMPASS at 45 MB/s and a Data Challenge was run for ALICE in preparation for the LHC startup in 2007 and sustained a data transfer to tape of 300 MB/s for one week (180 TB). The major functionality improvements were the support for files larger than 2 GB (in collaboration with IN2P3) and the development of Grid interfaces to CASTOR: GridFTP and SRM ("Storage Resource Manager"). An ongoing effort is taking place to copy the existing data from obsolete media like 9940 A to better cost effective offerings. CASTOR has also been deployed at several HEP sites with little effort. In 2003, we plan to continue working on Grid interfaces and to improve performance not only for Central Data Recording but also for Data Analysis applications where thousands of processes possibly access the same hot data. This could imply the selection of another filesystem or the use of replication (hardware or software).

연구 동기 및 목표

• CERN에서 증가하는 HEP 데이터 볼륨을 관리하기 위해 확장 가능하고 신뢰할 수 있는 스토리지 인프라가 필요하다는 점을 해결한다.
• ALICE 및 COMPASS와 같은 대규모 실험을 위해 고속 데이터 수집 및 검색을 지원한다.
• 분산 데이터 관리를 위한 새로운 그리드 컴퓨팅 인fra구조와의 원활한 통합을 가능하게 한다.
• 노후된 미디어(예: 9940 A)에서 더 비용 효율적인 솔루션으로의 데이터 이관을 통해 스토리지 효율성을 향상시킨다.
• 동시에 액세스되는 핫 데이터 세트를 포함한 데이터 분석 워크로드에 최적화된 성능을 향상시킨다.

제안 방법

• 디스크와 테이프 간 자동 데이터 이관 기능을 갖춘 계층적 스토리지 관리자(HSM)로 CASTOR을 구현한다.
• IN2P3와의 협력으로 2GB를 초과하는 파일을 처리할 수 있도록 파일 시스템 지원을 확장한다.
• 상호운용성을 확보하기 위해 그리드 프로토콜인 GridFTP 및 SRM(스토리지 리소스 매니저) 인터페이스를 통합한다.
• 부하 하중에서 성능을 검증하기 위해 지속적인 데이터 전송 벤치마크(예: 1주일간 300 MB/s)를 수행한다.
• 노후된 9940 A 테이프에서 새로운 비용 효율적인 스토리지 미디어로의 데이터 이관 파이프라인을 구현한다.
• 최소한의 설정 오버헤드로 여러 HEP 사이트에서 CASTOR을 쉽게 배포할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 계층적 스토리지 시스템이 고에너지물리학 실험을 위해 페타바이트 규모의 데이터를 효율적으로 관리할 수 있는가?
• RQ2 대규모 HEP 데이터 워크로드에서 테이프로의 지속적 데이터 전송 성능은 어느 정도 달성될 수 있는가?
• RQ3 현대 HEP 응용 프로그램에 필수적인 2GB를 초과하는 파일을 지원하기 위해 CASTOR는 어떻게 확장될 수 있는가?
• RQ4 SRM 및 GridFTP와 같은 표준 프로토콜을 사용해 CASTOR이 그리드 컴퓨팅 인fra구조와 얼마나 잘 통합될 수 있는가?
• RQ5 데이터 가용성에 영향을 주지 않으면서 노후된 스토리지 미디어에서 비용 효율적인 이관을 위한 전략은 무엇인가?

주요 결과

• ALICE 데이터 과제 기간 동안 CASTOR는 1주일간 지속적으로 300 MB/s의 데이터 전송 속도를 기록하여 LHC 규모 워크로드에 대비한 준비성을 입증했다.
• 2003년 기준으로 약 900만 개의 파일을 포함해 2페타바이트 이상의 데이터를 저장하여 확장성을 입증했다.
• 180TB의 데이터 전송이 1주일 동안 300 MB/s로 지속적으로 이루어져 고속 전송 능력을 검증했다.
• IN2P3와의 협력으로 2GB 초과 파일 지원이 성공적으로 구현되어 핵심 기술적 장벽이 제거되었다.
• Grid 인터페이스(GRIDFTP 및 SRM)를 통해 분산 컴퓨팅 환경과 원활하게 통합되어 상호운용성이 향상되었다.
• 지속적인 9940 A 테이프에서 새로운 스토리지 미디어로의 이관은 데이터 무결성과 가용성을 유지하면서도 비용 효율성을 향상시켰다.