[논문 리뷰] Boosted top tagging and its interpretation using Shapley values

Biplob Bhattacherjee, Camellia Bose외 2명|arXiv (Cornell University)|2022. 12. 22.

Particle physics theoretical and experimental studies참고 문헌 47인용 수 6

한 줄 요약

이 논문은 N-서브젯니스 비율과 에너지 상관 함수(Energy Correlation Function, ECF) 관측량을 사용한 XGBoost 기반 토프 태깅 프레임워크를 제안하며, 모델의 해석 가능성 향상을 위해 SHapley Additive exPlanations(SHAP)을 활용한다. 분석 결과 N-서브젯니스 특징이 가장 높은 태깅 성능을 보였으며, SHAP 분석을 통해 제트 질량과 특정 D-시리즈 항목이 주요 분류 기준임을 밝혀냈다. 또한 모델은 토프 쿼크 에너지 변화에 대해 뛰어난 내구성을 보였다.

ABSTRACT

Top tagging has emerged as a fast-evolving subject due to the top quark's significant role in probing physics beyond the standard model. For the reconstruction of top jets, machine learning models have shown a substantial improvement in the classification performance compared to the previous methods. In this work, we build top taggers using $N$-Subjettiness ratios and several Energy Correlation observables as input features to train the eXtreme Gradient BOOSTed decision tree (XGBOOST). The study finds that tighter parton-level matching lead to more accurate tagging. However, in real experimental data, where the parton level data are unknown, this matching cannot be done. We train the XGBOOST models without performing this matching and show that this difference impacts the taggers' effectiveness. Additionally, we test the tagger under different simulation conditions, including changes in center-of-mass energy, parton distribution functions (PDFs), and pileup effects, demonstrating its robustness with performance deviations of less than 1%. Furthermore, we use the SHapley Additive exPlanation (SHAP) framework to calculate the importance of the features of the trained models. It helps us to estimate how much each feature of the data contributed to the model's prediction and what regions are of more importance for each input variable. Finally, we combine all the tagger variables to form a hybrid tagger and interpret the results using the Shapley values.

연구 동기 및 목표

• N-서브젯니스와 에너지 상관 함수(ECF) 관측량을 입력 특징으로 사용한 XGBoost 기반 토프 태거의 성능 평가.
• 파트온 레벨의 토프 쿼크와 재구성된 패스트 제트 간의 매칭 조건(ΔRm로 정의됨)이 태깅 효율성에 미치는 영향 조사.
• 특히 최종 상태 방사로 인한 에너지 손실 상황에서, 다양한 토프 쿼크 횡방향 운동량(pT) 범위에 걸쳐 태거의 내구성 평가.
• SHAP 값을 활용해 모델의 결정 과정을 해석하고, 가장 영향력 있는 특징과 그 상호작용 효과 규명.
• 모든 변수를 조합한 하이브리드 태거를 구축하고, SHAP 분석을 통해 성능 및 특징 중요도 분석.

제안 방법

• N-서브젯니스, C-시리즈, D-시리즈, M-시리즈, N-시리즈, U-시리즈의 ECF 관측량 6개 시리즈의 입력 특징을 사용해 XGBoost 모델 훈련.
• 파트온-제트 매칭 영향 평가를 위해 ΔRm(0.6, 0.8, 1.0)을 정의하여 분석.
• SHAP 값으로 개별 특징의 모델 예측에 기여도를 계산해 특징 중요도를 해석 가능하게 함.
• 샤플리 상호작용 지수를 적용해 특징 간 쌍별 상호작용을 정량화하고, 특징 효과가 동시에 존재하는 변수에 따라 어떻게 달라지는지 분석.
• 모든 입력 변수를 조합해 하이브리드 태거를 구축하고, SHAP를 활용해 성능 및 해석 가능성 평가.
• 필터링되지 않은 제트와 잘라낸 제트를 대상으로 분석하여 제트 그루밍이 태깅 성능 및 특징 관련성에 미치는 영향 평가.

실험 결과

연구 질문

• RQ1 파트온 레벨의 토프 쿼크와 재구성된 패스트 제트 간의 매칭 반경(ΔRm) 선택이 XGBoost 기반 토프 태거의 성능에 어떤 영향을 미치는가?
• RQ2 N-서브젯니스 또는 ECF 관측량 중 어떤 것이 XGBoost 기반 토프 태킹에서 가장 높은 태깅 효율성과 AUC를 제공하는가?
• RQ3 에너지 손실이 발생할 경우, 특히 初기 토프 쿼크 횡방향 운동량 변화에 대해 XGBoost 태거는 얼마나 내구성이 있는가?
• RQ4 어떤 특징이 모델의 분류 결정에 가장 크게 기여하며, 특징 간의 상호작용은 어떻게 이루어지는가?
• RQ5 SHAP 값과 상호작용 지수는 물리 기반 결정 과정을 어떻게 이해하고 검증하는 데 활용될 수 있는가?

주요 결과

• N-서브젯니스 특징가 모든 6개 입력 시리즈 중에서 가장 높은 테스트 정확도와 AUC를 기록했으며, ECF 기반 특징보다 뛰어난 성능을 보였다.
• ΔRm가 증가할수록 태깅 성능이 저하되었으며, 매칭되지 않은 토프 제트에서 가장 열악한 성능을 보여, 매칭 품질에 매우 민감함을 확인.
• 잘라낸 제트의 경우, ECF 기반 특징(특히 D-시리즈)이 N-서브젯니스를 능가했지만, 제트 그루밍으로 인한 전체 태깅 정확도 저하가 발생.
• XGBoost 태거는 초기 토프 쿼크 에너지 변화에 대해 뛰어난 내구성을 보였으며, 에너지 손실을 겪은 600 GeV 토프 제트 테스트 시 성능 저하율이 0.7%에 불과했다.
• 하이브리드 태거에서 제트 질량(m_jet)과 D_3^{(3.0)}(D3 변수의 세 번째 항)가 가장 중요한 특징으로 나타났으며, D_3^{(3.0)}은 여러 구성에서 높은 순위를 기록.
• SHAP 상호작용 분석 결과, m_jet와 D_3^{(3.0)} 간의 상호작용이 가장 강하게 나타났으며, 이들의 조합된 값이 토프 제트와 QCD 제트를 구분하는 데 핵심적임을 확인.