[논문 리뷰] Methods for a blind analysis of isobar data collected by the STAR collaboration

STAR Collaboration, J. Adam외 355명|arXiv (Cornell University)|2019. 11. 01.

High-Energy Particle Collisions Research참고 문헌 12인용 수 11

한 줄 요약

이 논문은 2018년 STAR 실험에서 수집한 이소바르 충돌 데이터에 대해, 케랄 자성 효과(CME) 신호 탐지 시 연구자 편향을 방지하기 위해 고안된 이중 단계의 블라인딩 분석 절차를 기술한다. 이 방법은 데이터 혼합과 변수 수준의 블라인딩을 사용하며, 모의 데이터 도전을 통해 검증되어 최종 블라인딩 해제 이전까지 분석의 무결성을 보장하며, 블라인딩 해제 후에는 오류 수정만 허용된다.

ABSTRACT

In 2018, the STAR collaboration collected data from $_{44}^{96}Ru+_{44}^{96}Ru$ and $_{40}^{96}Zr+_{40}^{96}Zr$ at $\sqrt{s_{NN}}=200$ GeV to search for the presence of the chiral magnetic effect in collisions of nuclei. The isobar collision species alternated frequently between $_{44}^{96}Ru+_{44}^{96}Ru$ and $_{40}^{96}Zr+_{40}^{96}Zr$. In order to conduct blind analyses of studies related to the chiral magnetic effect in these isobar data, STAR developed a three-step blind analysis procedure. Analysts are initially provided a "reference sample" of data, comprised of a mix of events from the two species, the order of which respects time-dependent changes in run conditions. After tuning analysis codes and performing time-dependent quality assurance on the reference sample, analysts are provided a species-blind sample suitable for calculating efficiencies and corrections for individual $\approx30$-minute data-taking runs. For this sample, species-specific information is disguised, but individual output files contain data from a single isobar species. Only run-by-run corrections and code alteration subsequent to these corrections are allowed at this stage. Following these modifications, the "frozen" code is passed over the fully un-blind data, completing the blind analysis. As a check of the feasibility of the blind analysis procedure, analysts completed a "mock data challenge," analyzing data from $Au+Au$ collisions at $\sqrt{s_{NN}}=27$ GeV, collected in 2018. The $Au+Au$ data were prepared in the same manner intended for the isobar blind data. The details of the blind analysis procedure and results from the mock data challenge are presented.

연구 동기 및 목표

• 엄격한 블라인딩 분석 절차를 도입하여 이소바르 충돌 데이터 분석 시 연구자 편향을 방지하기 위해.
• 고에너지 충돌에서 케랄 자성 효과(CME) 신호 탐색의 무결성을 확보하기 위해.
• 고에너지 물리학 맥락에서 블라인딩된 데이터 샘플을 처리할 수 있는 계산 및 분석 프레임워크를 개발하고 검증하기 위해.
• 블라인딩 해제 후 수정을 위한 프로토콜을 수립하여 분석의 투명성과 일관성을 유지하기 위해.
• 실제 데이터 분석 전에 모의 데이터를 사용하여 블라인딩 절차의 타당성을 테스트하기 위해.

제안 방법

• 이중 단계의 블라인딩 절차를 구현: 먼저 다양한 데이터 수집 런 동안 이소바르 종류(96Zr + 96Mo)의 이벤트를 혼합하고, 그 다음 특정 변수를 블라인딩하여 이소바르 종류를 식별할 수 없도록 한다.
• 이벤트를 블라인드 데이터 샘플에 할당하기 위해 결정론적이고 재현 가능한 알고리즘을 사용하여, 분석 팀이 데이터 구조에서 이소바르 종류를 유추할 수 없도록 한다.
• 실제 2018년 Au+Au 데이터(√sNN = 27 GeV)를 사용하여 모의 데이터 도전을 수행하여 블라인딩 파이프라인과 분석 소프트웨어를 테스트한다.
• 세 가지 데이터 샘플을 제공: 혼합-블라인드(다양한 런의 이벤트 포함), 혼합 해제-블라인드(단일 런 파일이며 변수가 블라인딩됨), 블라인드 해제(완전히 노출된 데이터).
• 분석자가 블라인드 샘플에서 분석 코드를 튜닝하고, 그 결과를 블라인드 해제 샘플에서 검증하여 일관성을 확인하도록 요구한다.
• 블라인드 해제된 데이터에 대한 액세스 권한은 校정 전문가에게만 제한하며, 이들은 블라인드 물리 분석에 참여하지 않아야 하므로 객관성을 유지한다.

실험 결과

연구 질문

• RQ1 이중 단계의 블라인딩 분석 절차가 데이터 분석 중 이소바르 종류 식별을 효과적으로 방지할 수 있는가?
• RQ2 제안된 블라인딩 방법론이 STAR 협력단 내에서 계산적으로 타당하고 재현 가능한가?
• RQ3 모의 데이터 도전이 실질적인 데이터 분석 전에 분석 파이프라인과 소프트웨어를 성공적으로 검증할 수 있는가?
• RQ4 물리 분석을 위한 블라인딩 유지와 함께 校정 무결성을 어떻게 유지할 수 있는가?
• RQ5 블라인딩 해제 후 수정을 위한 규칙과 절차는 무엇이며, 분석의 투명성과 타당성을 보장하기 위해 어떻게 작동하는가?

주요 결과

• 이중 단계의 블라인딩 분석 절차(이벤트 혼합 및 변수 수준의 블라인딩 포함)는 데이터 수집 전에 STAR 이사회에서 성공적으로 구현되고 승인되었다.
• 모의 데이터 도전을 통해 블라인딩 절차가 계산적으로 타당하고 분석적으로 실현 가능하며, 블라인드, 혼합 해제-블라인드, 블라인드 해제 데이터 샘플 간 일관된 결과를 도출함을 입증하였다.
• 분석 팀은 블라인드 데이터에서 코드와 선택 기준을 튜닝하고, 블라인드 해제 데이터에서 결과를 재현함으로써 이 방법의 일관성과 신뢰성을 확인하였다.
• 교정 전문가는 필수적인 교정 작업을 위해 제한된 액세스 권한을 확보하였지만, 블라인드 물리 분석에서 제외되어 객관성을 유지하였다.
• 블라인드 해제 후 수정은 산술 오류 또는 승인된 절차에서의 의도치 않은 이탈에 국한되며, 모든 수정 사항은 문서화되고 결과는 유지된다.
• 블라인드 해제 후 유일한 결과 세트만 공개되며, 예비 결과나 상충 결과의 가능성은 제거되어 분석의 무결성을 보장한다.