[논문 리뷰] The LCG POOL Project, General Overview and Project Structure

Dirk Duellmann|ArXiv.org|2003. 06. 16.

Distributed and Parallel Computing Systems참고 문헌 3인용 수 23

한 줄 요약

LCG POOL 프로젝트는 LHC 컴퓨팅 그룹을 위한 하이브리드 지속성 프레임워크를 도입하며, 대량 데이터 처리를 위해 C++ 객체 스트리밍(예: ROOT I/O)과 메타데이터를 위한 트랜잭션 안정성 보장 RDBMS(예: MySQL)를 조합함으로써 확장성 있고 분산형이며 그룹 기반으로 확장 가능한 스토리지 솔루션을 제공한다. 이는 스토리지 세부 정보를 추상화하는 엄격한 컴포넌트 기반 아키텍처를 채택하여 분산된 데이터에 대한 탐색 접근성을 보장하면서도 실험 간 데이터 무결성과 상호운용성을 유지한다.

ABSTRACT

The POOL project has been created to implement a common persistency framework for the LHC Computing Grid (LCG) application area. POOL is tasked to store experiment data and meta data in the multi Petabyte area in a distributed and grid enabled way. First production use of new framework is expected for summer 2003. The project follows a hybrid approach combining C++ Object streaming technology such as ROOT I/O for the bulk data with a transactionally safe relational database (RDBMS) store such as MySQL. POOL is based a strict component approach - as laid down in the LCG persistency and blue print RTAG documents - providing navigational access to distributed data without exposing details of the particular storage technology. This contribution describes the project breakdown into work packages, the high level interaction between the main pool components and summarizes current status and plans.

연구 동기 및 목표

• LHC 컴퓨팅 그룹(LCG) 애플리케이션 영역을 위한 통합적이고 확장성 있으며 그룹 기반으로 확장 가능한 지속성 프레임워크를 설계하기 위해.
• 다중 페타바이트 규모의 실험 데이터 및 메타데이터를 분산 시스템 간에 효율적으로 저장하고 액세스할 수 있도록 하기 위해.
• 고성능 객체 스트리밍(예: ROOT I/O)과 트랜잭션 안정성 보장 관계형 데이터베이스(예: MySQL)를 하나의 일관된 프레임워크 내에서 통합하기 위해.
• 저수준 스토리지 세부 정보를 엄격한 컴포넌트 기반 아키텍처를 통해 추상화하여 분산된 데이터에 대한 투명한 액세스를 보장하기 위해.
• 표준화된 인터페이스와 블루프린트를 통해 LHC 실험 간 상호운용성과 장기적인 데이터 관리 지원을 위해.

제안 방법

• 하이브리드 스토리지 모델을 채택: 대량 데이터 처리를 위해 C++ 객체 스트리밍(예: ROOT I/O)을 사용하고, 메타데이터 및 트랜잭션 무결성을 위해 RDBMS(예: MySQL)를 사용한다.
• LCG 지속성 및 RTAG 블루프린트 기반의 컴포넌트 기반 소프트웨어 아키텍처를 구현하여 데이터 액세스를 스토리지 기술에서 분리한다.
• 분산된 데이터를 투명하게 탐색할 수 있도록 하는 네비게이션 액세스 레이어를 설계한다. 이는 기반 스토리지 구현 세부 정보를 노출하지 않는다.
• 표준 인터페이스와 메시징 프로토콜을 사용하여 컴포넌트 간 및 이질적인 그룹 환경 간의 상호운용성을 보장한다.
• 다양한 기관 간 개발, 테스트 및 통합을 관리하기 위해 정의된 워크패키지로 프로젝트를 구성한다.
• 기존 고성능 I/O 기술(예: ROOT)을 활용하면서도 POOL 추상화 레이어를 통해 트랜잭션 및 분산 기능을 확장한다.

실험 결과

연구 질문

• RQ1 다중 페타바이트 규모의 LHC 데이터 워크로드를 위한 통합적이고 확장성 있으며 그룹 기반으로 확장 가능한 지속성 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 분산 환경에서 고성능 객체 스트리밍과 트랜잭션 안정성 보장 관계형 데이터베이스를 효율적으로 통합할 수 있는 아키텍처적 접근 방식은 무엇인가?
• RQ3 기본 스토리지 기술에서 데이터 액세스를 어떻게 추상화하여 LHC 실험 간 이식성과 상호운용성을 보장할 수 있는가?
• RQ4 대규모 과학 데이터 프레임워크에서 확장성과 유지보수성을 지원하는 데 가장 적합한 컴포넌트 기반 설계 패턴은 무엇인가?
• RQ5 LHC 데이터의 규모와 분산성을 관리하면서도 데이터 일관성과 신뢰성을 어떻게 확보할 수 있는가?

주요 결과

• POOL 프레임워크는 대량 데이터 처리를 위해 ROOT I/O를, 메타데이터 처리를 위해 RDBMS(예: MySQL)를 조합하여 성능과 데이터 무결성 사이의 균형을 성공적으로 달성했다.
• 컴포넌트 기반 아키텍처는 스토리지 구현 세부 정보를 드러내지 않으면서도 분산된 데이터에 대한 투명한 액세스를 가능하게 하여 이식성과 유지보수성을 향상시켰다.
• 워크패키지로 프로젝트를 구성함으로써 여러 기관 간 협업된 개발 및 통합이 가능해졌으며, 이는 적시 배포를 지원했다.
• 프레임워크의 첫 번째 생산용 사용은 2003년 여름에 목표로 하여, 대규모 LHC 데이터 관리에 대한 준비가 되어 있음을 시사했다.
• 프레임워크는 LCG 지속성 및 RTAG 블루프린트를 준수하여 보다 넓은 그룹 컴퓨팅 표준 및 상호운용성 목표에 부합함을 보장했다.
• 하이브리드 접근 방식은 분산형 그룹 기반 환경에서 다수 페타바이트 규모의 데이터를 관리하는 데 유능함을 입증하였으며, 핵심 LCG 요구사항을 충족시켰다.