[논문 리뷰] Next generation input-output data format for HEP using Google's protocol buffers

S. Chekanov|arXiv (Cornell University)|2013. 06. 27.

Distributed and Parallel Computing Systems참고 문헌 2인용 수 7

한 줄 요약

이 논문은 고에너지물리학(HEP)을 위한 차세대 입력출력 형식인 ProMC를 제안한다. ProMC는 Google의 프로토콜 버퍼와 가변 크기 정수(varint) 인코딩을 사용하여 콘텐츠 기반 데이터 압축을 실현한다. 저에너지 '피루업' 입자를 더 낮은 정밀도와 더 적은 바이트로 저장함으로써, ROOT보다 최대 30%까지 파일 크기를 줄일 수 있으며, 자가 기술성, 랜덤 액세스, C++, Java, Python 등 다중 프로그래밍 언어 지원도 가능하다.

ABSTRACT

We propose a data format for Monte Carlo (MC) events, or any structural data, including experimental data, in a compact binary form using variable-size integer encoding as implemented in the Google's Protocol Buffers package. This approach is implemented in the so-called ProMC library which produces smaller file sizes for MC records compared to the existing input-output libraries used in high-energy physics (HEP). Other important features are a separation of abstract data layouts from concrete programming implementations, self-description and random access. Data stored in ProMC files can be written, read and manipulated in a number of programming languages, such C++, Java and Python.

연구 동기 및 목표

• 현재 HEP I/O 형식이 고의미 신호 입자와 동일한 정밀도로 저정밀도 '피루업' 입자를 저장함으로써 효율성이 떨어지는 문제를 해결하기 위해.
• 입자 에너지와 중요도에 따라 콘텐츠 기반 압축을 가능하게 함으로써 페타바이트 규모의 LHC 데이터의 저장 및 I/O 오버헤드를 줄이기 위해.
• 자기 기술성, 이식성, 랜덤 액세스 기능을 갖춘 포트폴리오 형식을 제공하여 C++, Java, Python 등 다양한 프로그래밍 언어 및 플랫폼(기존 HEP 환경 외인 Windows, Android 포함)에서도 사용 가능하게 하기 위해.
• 데이터 레이아웃을 구현에서 분리함으로써 효율적인 데이터 교환, 보존, 분석을 가능하게 하고 메타데이터 기반 이벤트 선택을 지원하기 위해.
• 초기계, 슈퍼컴퓨터(예: IBM Blue Gene/Q)를 포함한 다양한 아키텍처에서 사용 가능한 경량이고 구현 가능한 I/O 라이브러리 개발을 위해.

제안 방법

• Google의 프로토콜 버퍼를 사용하여 HEP 이벤트 데이터를 위한 압축적이고 자가 기술적인 바이너리 형식을 정의함으로써 효율적인 직렬화 및 역직렬화를 가능하게 한다.
• 정수(예: 입자 ID, 상태 코드, 운동량)를 가변 길이 바이트 시퀀스로 표현하기 위해 varint 인코딩을 적용하여 작은 값의 저장 공간을 줄인다.
• 에너지 기반 스케일링을 적용하여 부동소수점 4운동량을 64비트 정수로 변환함으로써 저에너지 입자에 대해 정밀도를 낮추되 정보 손실이 최소화되도록 한다.
• 랜덤 액세스를 지원하기 위해 파일 형식에 메타데이터를 통합함으로써 전체 파일을 읽지 않고도 특정 이벤트를 직접 추출할 수 있도록 한다.
• 동일한 스키마에서 C++, Java, Python을 위한 코드 생성을 지원하여 타입 안정성과 플랫폼 독립성을 확보한다.
• 표준 형식(HEPMC, STDHEP)에서 ProMC로의 변환을 위한 도구와 ProMC 데이터의 검사, 추출, 시각화를 위한 유틸리티를 제공한다.

실험 결과

연구 질문

• RQ1 저에너지 입자에 대해 정밀도를 낮춘 콘텐츠 기반 압축 전략이 HEP 몬테카를로 데이터의 파일 크기를 크게 줄일 수 있는가?
• RQ2 고정 크기 형식(예: ROOT의 Double32_t)에 비해 varint 기반 정수 인코딩이 일반적인 HEP 이벤트 레코드의 저장 오버헤드를 얼마나 효과적으로 줄이는가?
• RQ3 자기 기술성, 이식성, 랜덤 액세스 기능을 갖춘 바이너리 형식이 HEP 환경 간 데이터 교환 및 분석 이식성에 얼마나 기여하는가?
• RQ4 ProMC와 같은 경량 다중 프로그래밍 언어 I/O 라이브러리가 Windows나 안드로이드와 같은 비전통적 HEP 환경에서도 효율적인 데이터 처리를 가능하게 하는가?
• RQ5 대규모 HEP 워크플로우(예: 빠른 시뮬레이션 및 분석 파이프라인 포함)에서 ProMC의 성능 및 확장성은 어떠한가?

주요 결과

• ProMC는 ROOT의 Double32_t 형식 대비 최대 30%까지 파일 크기를 줄였으며, 벤치마크 테스트에서 27% 감소를 관측했다.
• 고피루업 상황(예: 신호 당 50~140개의 배경 이벤트)에서 ProMC는 varint 인코딩으로 저에너지 입자를 효율적으로 압축함으로써 ROOT 대비 거의 두 배의 파일 크기 감소를 달성했다.
• ProMC 형식은 압축되지 않은 ASCII HEPMC 파일 대비 33% 감소, gzip 압축 HEPMC 파일 대비 19% 감소를 기록했다.
• 가변 크기 정수 사용으로 작은 값(예: 입자 ID, 상태 코드)이 1~2바이트로만 저장되어 일반 데이터 필드의 오버헤드를 크게 줄였다.
• ProMC 라이브러리는 네트워크 스트리밍을 통해 개별 이벤트에 대한 랜덤 액세스를 지원하여 전체 파일을 다운로드하지 않고도 특정 이벤트를 신속히 추출할 수 있다.
• 단일 스키마에서 C++, Java, Python을 위한 코드 생성이 가능하여 크로스 플랫폼 분석을 촉진하고 개발 오버헤드를 감소시켰다.