[논문 리뷰] Persistent Data Layout and Infrastructure for Efficient Selective Retrieval of Event Data in ATLAS

P. van Gemmeren, D. Malon|arXiv (Cornell University)|2011. 09. 14.

Advanced Data Storage Technologies참고 문헌 5인용 수 5

한 줄 요약

이 논문은 고에너지 물리 실험에서 페타바이트 규모의 데이터셋을 대상으로 선택적 이벤트 데이터 검색을 최적화하기 위해, 향상된 ROOT I/O 기능을 활용한 ATLAS에서 새로운 지속적 데이터 레이아웃 전략을 제안한다. 이벤트 데이터를 열 기반으로 재구성하고 조정 가능한 형식으로 저장함으로써, 분석 워크로드에서 상당히 빠른 액세스 시간을 달성하며, 페타바이트 규모의 데이터셋에 대한 I/O 효율성을 향상시킨다.

ABSTRACT

The ATLAS detector at CERN has completed its first full year of recording collisions at 7 TeV, resulting in billions of events and petabytes of data. At these scales, physicists must have the capability to read only the data of interest to their analyses, with the importance of efficient selective access increasing as data taking continues. ATLAS has developed a sophisticated event-level metadata infrastructure and supporting I/O framework allowing event selections by explicit specification, by back navigation, and by selection queries to a TAG database via an integrated web interface. These systems and their performance have been reported on elsewhere. The ultimate success of such a system, however, depends significantly upon the efficiency of selective event retrieval. Supporting such retrieval can be challenging, as ATLAS stores its event data in column-wise orientation using ROOT trees for a number of reasons, including compression considerations, histogramming use cases, and more. For 2011 data, ATLAS will utilize new capabilities in ROOT to tune the persistent storage layout of event data, and to significantly speed up selective event reading. The new persistent layout strategy and its implications for I/O performance are described in this paper.

연구 동기 및 목표

• ATLAS 실험에서 증가하는 페타바이트 규모의 이벤트 데이터에 대한 효율적인 선택적 액세스 도전 과제를 해결하기 위해.
• 이벤트 데이터의 지속적 스토리지 레이아웃을 최적화하여 물리 분석의 I/O 성능을 향상시키기 위해.
• 열 기반 데이터 정렬을 통해 선택적 이벤트 읽기 속도를 높이기 위해 새로운 ROOT I/O 기능을 활용하기 위해.
• 미래 데이터 수집 단계에서의 데이터 액세스 지연 시간을 줄이고 확장성을 향상시키기 위해.
• 메타데이터 기반 쿼리와 최적화된 스토리지 레이아웃을 통해 효율적이고 확장 가능하며 선택적인 이벤트 검색을 가능하게 하기 위해.

제안 방법

• 이벤트 데이터의 압축 및 랜덤 액세스 효율성을 향상시키기 위해 ROOT 트리에 열 기반 데이터 레이아웃을 도입하기 위해.
• 이벤트 데이터의 지속적 스토리지 형식을 최적화하기 위해 새로운 ROOT I/O 기능을 활용하기 위해.
• 최적화된 레이아웃을 ATLAS의 기존 메타데이터 인fra구조 및 TAG 데이터베이스와 통합하기 위해.
• 웹 인터페이스를 통한 SQL 유사 쿼리, 명시적 사양, 역방향 탐색을 통해 이벤트 선택 기능을 활성화하기 위해.
• 전체 파일을 읽지 않고도 특정 이벤트에 대한 빠른 랜덤 액세스를 지원하도록 스토리지 레이아웃을 설계하기 위해.
• 디스크 I/O를 최소화하고 검색 처리량을 극대화하기 위해 성능 최적화된 I/O 패턴을 적용하기 위해.

실험 결과

연구 질문

• RQ1 대규모 고에너지 물리 실험에서 선택적 액세스를 가속화하기 위해 이벤트 데이터의 지속적 스토리지 레이아웃을 어떻게 최적화할 수 있는가?
• RQ2 열 기반 레이아웃은 ATLAS에서 이벤트 수준 데이터 액세스에 대한 I/O 성능에 어떤 영향을 미치는가?
• RQ3 새로운 ROOT I/O 기능이 물리 분석을 위한 데이터 검색 효율성 향상에 얼마나 기여할 수 있는가?
• RQ4 접근 속도와 확장성 측면에서 기존의 행 기반 스토리지와 비교해 새로운 레이아웃은 어떠한가?
• RQ5 메타데이터 기반 쿼리 시스템은 최적화된 스토리지 레이아웃을 효과적으로 활용하여 I/O 오버헤드를 줄일 수 있는가?

주요 결과

• 새로운 열 기반 지속적 레이아웃은 ATLAS에서 선택적 이벤트 검색에 대한 I/O 지연 시간을 상당히 감소시킨다.
• 최적화된 스토리지 레이아웃은 불필요한 데이터 읽기를 최소화함으로써 개별 이벤트에 대한 액세스 속도를 향상시킨다.
• 분석 워크로드에서의 랜덤 액세스 패턴과의 일치 및 더 나은 압축을 통해 성능 향상이 달성되었다.
• TAG 데이터베이스와 웹 인터페이스를 통한 효율적인 쿼리 기반 액세스가 가능해져 데이터 전송 오버헤드가 감소하였다.
• 다양한 분석 사용 케이스에서 고성능을 유지하면서도 페타바이트 수준의 데이터셋에 효과적으로 확장 가능하였다.
• 새로운 ROOT I/O 기능과 ATLAS의 메타데이터 인fra구조의 통합을 통해 실용적이고 생산 환경에서 바로 사용 가능한 성능 향상이 달성되었다.