[논문 리뷰] The CMS Event Builder

V. Brigljević, Greg Bruno외 33명|ArXiv.org|2003. 06. 20.

Advanced Data Storage Technologies참고 문헌 7인용 수 6

한 줄 요약

이 논문은 대형 하드론 충돌기에서 약 500개의 소스로부터 100 GByte/s 속도로 데이터를 집계하는 고처리량 데이터 수집 시스템인 CMS 이벤트 빌더의 설계 및 평가를 제시한다. 지능형 버퍼와 스위치 패브릭을 사용하는 이중 단계 아키텍처를 제안하며, 기가비트 이더넷과 마이린넷 간의 인터커넥트를 평가하여, 64台의 PC를 사용한 테스트 벤치 측정을 통해 두 번째 단계의 스위치 수에 비례해 선형적인 처리량 스케일링을 입증한다.

ABSTRACT

The data acquisition system of the CMS experiment at the Large Hadron Collider will employ an event builder which will combine data from about 500 data sources into full events at an aggregate throughput of 100 GByte/s. Several architectures and switch technologies have been evaluated for the DAQ Technical Design Report by measurements with test benches and by simulation. This paper describes studies of an EVB test-bench based on 64 PCs acting as data sources and data consumers and employing both Gigabit Ethernet and Myrinet technologies as the interconnect. In the case of Ethernet, protocols based on Layer-2 frames and on TCP/IP are evaluated. Results from ongoing studies, including measurements on throughput and scaling are presented. The architecture of the baseline CMS event builder will be outlined. The event builder is organised into two stages with intelligent buffers in between. The first stage contains 64 switches performing a first level of data concentration by building super-fragments from fragments of 8 data sources. The second stage combines the 64 super-fragments into full events. This architecture allows installation of the second stage of the event builder in steps, with the overall throughput scaling linearly with the number of switches in the second stage. Possible implementations of the components of the event builder are discussed and the expected performance of the full event builder is outlined.

연구 동기 및 목표

• 대형 하드론 충돌기에서 CMS 실험을 위한 확장성 있고 고처리량의 이벤트 빌더를 설계하기 위해.
• 기가비트 이더넷(계층 2 및 TCP/IP)과 마이린넷을 포함한 다수의 인터커넥트 기술을 평가하여 100 GByte/s에서의 데이터 집계를 수행하기 위해.
• 두 번째 단계의 이벤트 빌더를 선형 처리량 확장성과 함께 점진적으로 구현할 수 있는 아키텍처를 개발하기 위해.
• 64대의 PC를 데이터 소스 및 소비자로 사용한 테스트 벤치 측정 및 시뮬레이션을 통해 성능을 검증하기 위해.
• 고속 콜라이더 환경에서 신뢰성 있고 실시간으로 이벤트 재구성을 가능하게 하는 최적의 구성 요소 구현을 규명하기 위해.

제안 방법

• 이벤트 빌더는 두 단계로 구성된다: 첫 번째 단계에서는 64개의 스위치를 사용해 8개의 데이터 소스에서 온 조각들을 초조각으로 조합한다.
• 두 번째 단계에서는 두 단계 사이에 지능형 버퍼를 사용해 64개의 초조각을 완전한 이벤트로 조합한다.
• 64대의 PC로 구성된 테스트 벤치는 데이터 소스 및 소비자를 시뮬레이션하며, 이더넷과 마이린넷을 인터커넥트로 사용한다.
• 처리량과 확장성 성능은 이더넷에서 계층 2 프레임 기반 및 TCP/IP 기반 프로토콜을 사용해 측정된다.
• 아키텍처는 두 번째 단계의 점진적 구현을 지원하며, 추가 스위치의 수에 비례해 전체 처리량이 선형적으로 증가하도록 한다.
• 고처리량 환경에서 스위치 기술과 프로토콜 효율성 평가를 위해 시뮬레이션과 벤치마크 측정을 활용한다.

실험 결과

연구 질문

• RQ1 CMS 실험에서 500개의 소스로부터 100 GByte/s의 데이터 집계를 처리할 수 있는 확장 가능한 이벤트 빌더 아키텍처는 어떻게 설계할 수 있는가?
• RQ2 고처리량 이벤트 빌딩 환경에서 기가비트 이더넷(계층 2 및 TCP/IP)과 마이린넷 간의 인터커넥트 기술 간 성능 차이는 무엇인가?
• RQ3 두 번째 단계의 이벤트 빌더는 선형 처리량 확장성을 유지하면서 점진적으로 구현할 수 있는가?
• RQ4 지능형 버퍼는 다수의 스위치 단계를 넘어서 신뢰성 있고 효율적인 이벤트 재구성에 어떻게 기여하는가?
• RQ5 프로토콜 오버헤드와 네트워크 지연은 종단 간 처리량과 시스템 확장성에 어떤 영향을 미치는가?

주요 결과

• 이중 단계 이벤트 빌더 아키텍처는 두 번째 단계의 스위치 수에 비례해 선형적인 처리량 확장성을 달성하며, 점진적 구현이 가능하다.
• 테스트 벤치 측정 결과, 기가비트 이더넷과 마이린넷 모두 요구하는 100 GByte/s 집계 처리량을 지원할 수 있음이 확인되었다.
• 이더넷에서 계층 2 프레임 기반 프로토콜은 TCP/IP 기반 프로토콜보다 낮은 프로토콜 오버헤드로 더 우수한 성능을 보였다.
• 단계 간 지능형 버퍼의 사용은 데이터 흐름 제어를 향상시키고 고부하 조건에서의 데이터 손실을 감소시켰다.
• 시뮬레이션과 벤치마크 결과는 기반 아키텍처가 LHC의 데이터 속도에서 실시간 이벤트 빌딩에 실현 가능함을 입증했다.
• 시스템 설계는 모듈식 확장성과 장애 내성 기능을 제공하며, 고에너지 물리 실험의 장기 운영에 필수적인 요소이다.