[논문 리뷰] Objectivity Data Migration

Marcin Nowak, K. Nienartowicz외 3명|ArXiv.org|2003. 05. 28.

Cloud Computing and Resource Management참고 문헌 2인용 수 4

한 줄 요약

이 논문은 CERN의 COMPASS 및 HARP 실험을 위해 고처리량 데이터 마이그레이션 전략을 제시한다. Objectivity/DB에서 새로운 시스템으로 300TB 이상의 이벤트 데이터를 이전하며, 30대의 리눅스 서버와 14대의 테이프 드라이브를 사용하여 초당 약 100MB의 전송 속도를 달성하였다. 신규 시스템은 메타데이터에 관계형 데이터베이스를, 이벤트 데이터에 평탄한 파일 형식을 사용하며, 원본 C++ API를 유지하면서 Oracle9i와 CASTOR 스토리지 기반의 확장성 있고 일반적인, 탐색 가능한 접근 방식을 보장한다.

ABSTRACT

In this article we describe the migration of event data collected by the COMPASS and HARP experiments at CERN. Together these experiments have over 300TB of physics data stored in Objectivity/DB that had to be transferred to a new data management system by the end of Q1 2003 and Q2 2003 respectively. To achieve this, data needed to be processed with a rate close to 100MB/s, employing 14 tape drives and a cluster of 30 Linux servers. The new persistency solution to accommodate the data is built upon relational databases for metadata storage and standard "flat" files for the event data. The databases contain collections of 109 events and allow generic queries or direct navigational access to the data, preserving the original C++ user API. The central data repository at CERN is implemented using several Oracle9i servers on Linux and the CERN Mass Storage System CASTOR.

연구 동기 및 목표

• COMPASS 및 HARP 실험의 마감일인 2003년 말까지 Objectivity/DB에서 300TB 이상의 물리 이벤트 데이터를 새로운 데이터 관리 시스템으로 마이그레이션하기.
• 지속적인 전송 속도 약 100MB/s를 달성하여 마이그레이션 중 데이터 무결성과 성능을 확보하기.
• 기존의 Objectivity/DB 시스템을 대체할 수 있는 확장성 있고 유지보수 용이한 솔루션으로서 관계형 데이터베이스와 평탄한 파일 기반의 시스템을 도입하기.
• 기존 응용 프로그램의 호환성과 원활한 전환을 보장하기 위해 원본 C++ 사용자 애플리케이션 프로그래밍 인터페이스(API)를 유지하기.
• Oracle9i와 CERN의 CASTOR 대량 스토리지 시스템을 활용해 견고하고 프로덕션 준비가 된 데이터 관리 시스템을 구현하기.

제안 방법

• 지속적인 데이터 전송 속도 약 100MB/s를 달성하기 위해 30대의 리눅스 서버와 14대의 테이프 드라이브로 구성된 클러스터를 활용하였다.
• 메타데이터에는 Oracle9i를, 원시 이벤트 데이터에는 평탄한 파일 형식을 사용하여 Objectivity/DB에서 새로운 시스템으로 이벤트 데이터를 마이그레이션하였다.
• 기존 C++ API를 모방하는 방식으로, 일반적인 SQL 쿼리와 직접적인 이벤트 탐색 접근 방식을 모두 지원하는 새로운 영속성 계층을 설계하였다.
• 리눅스에서 실행 중인 여러 대의 Oracle9i 서버에 중심 데이터 저장소를 구축하고, CERN 대량 스토리지 시스템(CASTOR)과 통합하였다.
• 기존 사용자 응용 프로그램과의 호환성을 보장하기 위해 API 유지 전략을 통해 역방향 호환성을 확보하였다.
• 마이그레이션 기간 동안 대규모 데이터 전송과 검증을 처리하기 위해 분산 처리 파이프라인을 구현하였다.

실험 결과

연구 질문

• RQ1 기존의 객체 지향 데이터베이스(Objectivity/DB)에서 현대적인 관계형 데이터베이스와 파일 기반 시스템으로 대규모 고속 데이터 마이그레이션을 어떻게 달성할 수 있는가?
• RQ2 어떤 시스템 아키텍처가 약 100MB/s의 효율적인 전송 속도와 기존 C++ 응용 프로그램과의 완전한 역방향 호환성을 동시에 달성할 수 있는가?
• RQ3 메타데이터와 이벤트 데이터를 어떻게 효과적으로 분리하여 확장 가능한 쿼리와 직접적인 액세스를 지원하면서도 성능을 유지할 수 있는가?
• RQ4 표준 파일 시스템과 관계형 데이터베이스는 고에너지 물리 실험에서 전용 영속성 솔루션을 대체하는 데 어떤 역할을 하는가?
• RQ5 오픈 표준과 널리 보급된 인프라를 활용해 어떻게 대규모로 프로덕션 수준의 데이터 관리 시스템을 구축할 수 있는가?

주요 결과

• 마이그레이션은 COMPASS 및 HARP 실험의 요구 마감일 내에 Objectivity/DB에서 새로운 시스템으로 300TB 이상의 데이터를 성공적으로 이전하였다.
• 30대의 리눅스 서버와 14대의 테이프 드라이브를 사용하여 약 100MB/s의 지속적인 데이터 전송 속도를 달성하였으며, 이는 대규모 데이터의 효율적 처리를 가능하게 하였다.
• Oracle9i를 메타데이터에, 평탄한 파일을 이벤트 데이터에 사용하는 새로운 시스템은 일반적인 쿼리와 직접적인 탐색 액세스 모두를 완전히 지원하였다.
• 원본 C++ 사용자 API가 유지되어 기존 응용 프로그램과의 원활한 통합과 최소한의 교란을 보장하였다.
• CASTOR 스토리지와 통합된 Oracle9i 서버에 중심 데이터 저장소를 배치함으로써 장기적인 데이터 지속성을 위한 확장성 있고 신뢰할 수 있는 기반을 마련하였다.
• 이전 연구는 고에너지 물리 실험의 데이터 관리에서 전용 데이터베이스 시스템을 표준 관계형 데이터베이스와 평탄한 파일로 대체하는 것이 가능하다는 것을 입증하였다.