[논문 리뷰] Real-time data analysis at the LHC: present and future

V. V. Gligorov|arXiv (Cornell University)|2015. 09. 21.

Particle physics theoretical and experimental studies참고 문헌 7인용 수 4

한 줄 요약

이 논문은 대형 하드론 충돌기(LHC)에서 실시간 데이터 분석 과제를 다루며, 연간 데이터 속도가 100 엑사바이트를 초과해 하드웨어 트리거를 통해 데이터를 1,000배에서 100,000배까지 감소시킬 필요가 있다. 향후 데이터 폭발에 대비해 머신러닝을 활용한 차세대 실시간 다변량 분석 도입을 주장하며, 특히 LHCb와 ALICE에서 전체 이벤트 재구성은 클라우드/팜 환경에서 가능해져 더 풍부한 물리적 발견이 가능해질 것이다.

ABSTRACT

The Large Hadron Collider (LHC), which collides protons at an energy of 14 TeV, produces hundreds of exabytes of data per year, making it one of the largest sources of data in the world today. At present it is not possible to even transfer most of this data from the four main particle detectors at the LHC to "offline" data facilities, much less to permanently store it for future processing. For this reason the LHC detectors are equipped with real-time analysis systems, called triggers, which process this volume of data and select the most interesting proton-proton collisions. The LHC experiment triggers reduce the data produced by the LHC by between 1/1000 and 1/100000, to tens of petabytes per year, allowing its economical storage and further analysis. The bulk of the data-reduction is performed by custom electronics which ignores most of the data in its decision making, and is therefore unable to exploit the most powerful known data analysis strategies. I cover the present status of real-time data analysis at the LHC, before explaining why the future upgrades of the LHC experiments will increase the volume of data which can be sent off the detector and into off-the-shelf data processing facilities (such as CPU or GPU farms) to tens of exabytes per year. This development will simultaneously enable a vast expansion of the physics programme of the LHC's detectors, and make it mandatory to develop and implement a new generation of real-time multivariate analysis tools in order to fully exploit this new potential of the LHC. I explain what work is ongoing in this direction and motivate why more effort is needed in the coming years.

연구 동기 및 목표

• LHC에서 엑사바이트 수준의 데이터 속도를 관리하는 과제를 해결하며, 현재의 저장 및 전송 능력을 초월한다.
• 현재 하드웨어 기반 트리거 시스템이 다변량 데이터 분석을 처리하는 데서 유도하는 한계를 설명한다.
• LHC 업그레이드로 인한 향후 데이터 증가를 최대한 활용하기 위해 고도화된 실시간 다변량 분석 도구의 필요성을 정당화한다.
• 전통적인 하드웨어 트리거에서 실시간 처리와 클라우드/팜 기반 재구성의 조합을 통한 하이브리드 시스템으로의 전환을 부각한다.
• 다양한 물리 신호를 효율적으로 분류하기 위해 머신러닝을 실시간 분석 파이프라인에 통합할 것을 주장한다.

제안 방법

• ATLAS와 CMS에서 하드웨어 트리거를 사용해 데이터 속도를 40–75배 감소시켜 가장 유망한 이벤트만 유지한다.
• LHCb에서 두 단계의 버퍼링 모델을 구현해 연기 트리거 및 지속적인 실시간 校정과 정렬을 가능하게 한다.
• CPU, GPU, XeonPhi 아키텍처를 활용해 데이터 처리 팜에서 실시간으로 이벤트를 재구성함으로써 기존 하드웨어 트리거를 대체한다.
• ATLAS와 CMS에서 트랙 트리거를 도입해 고속도에서 충전 입자 궤적을 재구성함으로써 데이터 감소 효율을 향상시킨다.
• 신경망, 의사결정 트리, 서포트 벡터 머신과 같은 다변량 분석 기법을 실시간 파이프라인에 직접 적용해 이벤트 분류를 수행한다.
• 전체 이벤트 재구성과 압축된 데이터 포맷의 조합을 통한 하이브리드 전략을 탐색해 데이터 양과 물리 정보의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 LHC에서 엑사바이트 수준의 데이터 속도를 처리하기 위해 실시간 데이터 분석을 어떻게 스케일링할 수 있는가?
• RQ2 현재 하드웨어 기반 트리거 시스템이 복잡한 다변량 분석을 가능하게 하는 데서 겪는 한계는 무엇인가?
• RQ3 머신러닝을 실시간 데이터 처리에 어떻게 통합할 수 있으며, 단순한 신호-배경 분리 이상의 이벤트 분류 성능을 향상시킬 수 있는가?
• RQ4 LHCb 및 ALICE와 같은 실험에서 실시간으로 전체 이벤트 재구성을 지원하기 위해 필요한 아키텍처 및 알고리즘적 변화는 무엇인가?
• RQ5 연기 트리거 및 지속적 校정이 더 유연하고 강력한 실시간 분석을 가능하게 하는 데서 수행하는 역할은 무엇인가?

주요 결과

• LHC는 연간 약 100 엑사바이트의 데이터를 생성하며, 현재의 인프라로는 전체 오프라인 저장 및 전송이 불가능하다.
• 현재 하드웨어 트리거는 데이터 속도를 1,000배에서 100,000배까지 감소시켜 경제적으로 가능한 저장 및 처리를 가능하게 한다.
• LHCb는 하드웨어 트리거를 완전히 폐기하고, 실시간 처리 팜과 연기 트리거에 의존해 최대 150 TB/s의 데이터를 처리할 계획이다.
• ATLAS와 CMS는 디텍터 설계의 물리적 제약으로 하드웨어 트리거를 유지하나, 재구성 효율 향상을 위해 트랙 트리거를 보완한다.
• 다양한 물리 신호를 분류하기 위해 머신러닝을 활용한 실시간 다변량 분석으로의 전환은 실험에서 대부분의 이벤트가 잠재적으로 유의미한 경우에 필수적이다.
• 향후 데이터 처리는 이종 컴퓨팅(CPU, GPU, XeonPhi)과 클라우드 기반 인프라에 의존하며, 이는 이전에 비해 더 뛰어난 실시간 분석 능력을 가능하게 한다.