[論文レビュー] Methods for a blind analysis of isobar data collected by the STAR collaboration

STAR Collaboration, J. Adam+355 more|arXiv (Cornell University)|Nov 1, 2019

High-Energy Particle Collisions Research参考文献 12被引用数 11

ひとこと要約

この論文は、2018年のSTAR実験で収集されたアイソバール衝突データに対して、手技的磁気効果（CME）信号を検出する際の研究者バイアスを防ぐために設計された二段階のブラインド解析手順を詳述している。この手法は、データ混合と変数レベルのブラインド化を用い、模擬データチャレンジを通じて検証されており、最終的なブラインド解除までの分析の整合性を保証する。ブラインド解除後は、誤り訂正のみを許可する。

ABSTRACT

In 2018, the STAR collaboration collected data from $_{44}^{96}Ru+_{44}^{96}Ru$ and $_{40}^{96}Zr+_{40}^{96}Zr$ at $\sqrt{s_{NN}}=200$ GeV to search for the presence of the chiral magnetic effect in collisions of nuclei. The isobar collision species alternated frequently between $_{44}^{96}Ru+_{44}^{96}Ru$ and $_{40}^{96}Zr+_{40}^{96}Zr$. In order to conduct blind analyses of studies related to the chiral magnetic effect in these isobar data, STAR developed a three-step blind analysis procedure. Analysts are initially provided a "reference sample" of data, comprised of a mix of events from the two species, the order of which respects time-dependent changes in run conditions. After tuning analysis codes and performing time-dependent quality assurance on the reference sample, analysts are provided a species-blind sample suitable for calculating efficiencies and corrections for individual $\approx30$-minute data-taking runs. For this sample, species-specific information is disguised, but individual output files contain data from a single isobar species. Only run-by-run corrections and code alteration subsequent to these corrections are allowed at this stage. Following these modifications, the "frozen" code is passed over the fully un-blind data, completing the blind analysis. As a check of the feasibility of the blind analysis procedure, analysts completed a "mock data challenge," analyzing data from $Au+Au$ collisions at $\sqrt{s_{NN}}=27$ GeV, collected in 2018. The $Au+Au$ data were prepared in the same manner intended for the isobar blind data. The details of the blind analysis procedure and results from the mock data challenge are presented.

研究の動機と目的

• 二段階のブラインド解析手順を導入することで、アイソバール衝突データの解析における研究者バイアスを防止すること。
• 重イオン衝突における手技的磁気効果（CME）信号探索の整合性を確保すること。
• 高エネルギー物理学の文脈でブラインド化されたデータサンプルを処理できる計算および解析フレームワークの開発と検証すること。
• ブラインド解除後の修正に関するプロトコルを確立し、分析の透明性と一貫性を保つこと。
• 本格的なデータ解析の前段階として、模擬データを用いたブラインド手順の実行可能性を検証すること。

提案手法

• 二段階のブラインド化手順を実施：まず、複数のデータ収集走行で得られたアイソバール種（96Zr + 96Mo）のイベントを混合し、次に特定の変数をブラインド化してアイソバール種の識別を不可能にする。
• 決定論的かつ再現可能なアルゴリズムを用いてイベントをブラインドデータサンプルに割り当て、解析チームがデータ構造からアイソバール種を推測できないようにする。
• 2018年の実際のAu+Auデータ（√sNN = 27 GeV）を用いて、模擬データチャレンジを実施し、ブラインドパイプラインおよび解析ソフトウェアの妥当性を検証する。
• 三つのデータサンプルを提供：混合ブラインド（複数走行からのイベント）、混合解除済みブラインド（単一走行ファイルで変数がブラインド化されたもの）、および非ブラインド（完全にマスク解除されたデータ）。
• アナリストがブラインドサンプルで解析コードをチューニングし、その後非ブラインドサンプルで結果を検証することで一貫性を確認する。
• 非ブラインドデータへのアクセスは、校正専門家に限定し、彼らはブラインド物理解析に参加しないようにすることで、客観性を保つ。

実験結果

リサーチクエスチョン

• RQ1 二段階のブラインド解析手順は、データ解析中にアイソバール種の識別を効果的に防げるか？
• RQ2 提案されたブラインド化手法は、STAR共同研究グループ全体で計算的に実行可能で再現可能か？
• RQ3 模擬データチャレンジは、本格的なデータ解析の前段階で、解析パイプラインおよびソフトウェアの妥当性を成功裏に検証できるか？
• RQ4 物理解析のブラインド状態を維持しつつ、校正の整合性をどのように保てるか？
• RQ5 ブラインド解除後の修正に関するルールと手順は、分析の透明性と妥当性を保証するためにどのようなものか？

主な発見

• 二段階のブラインド解析手順（イベント混合と変数レベルのブラインド化を含む）は、データ収集の前段階でSTAR評議会の承認を経て、正常に実装された。
• 模擬データチャレンジの結果、ブラインド化手順は計算的に実行可能かつ解析的に有効であり、ブラインド、混合解除済みブラインド、非ブラインドの各データサンプルで一貫した結果が得られた。
• 解析チームはブラインドデータ上でコードと選択基準をチューニングし、非ブラインドデータで結果を再現でき、この手法の整合性と信頼性が確認された。
• 校正専門家は、必須の校正作業のための限定的アクセスが与えられたが、ブラインド物理解析には参加しなかったため、客観性が保たれた。
• ブラインド解除後の修正は、算術的誤りまたは承認された手順からの意図しない逸脱に限定され、すべての変更が文書化され、結果が保持された。
• ブラインド解除後、唯一の最終結果セットが公開されるため、予備的または矛盾する結果の可能性が排除され、分析の整合性が保証された。