[論文レビュー] Boosted top tagging and its interpretation using Shapley values

Biplob Bhattacherjee, Camellia Bose+2 more|arXiv (Cornell University)|Dec 22, 2022

Particle physics theoretical and experimental studies参考文献 47被引用数 6

ひとこと要約

本稿では、N-部分小分け率比とエネルギー相関関数（ECF）観測量を特徴量として用い、SHapley Additive exPlanations（SHAP）を用いてモデルの解釈可能性を高めたXGBoostベースのトップタギングフレームワークを提案する。N-部分小分け率特徴量が最も高いタギング性能を示し、SHAP解析により、ジェット質量と特定のDシリーズ項が主要な識別子であることが明らかになった。モデルはトップクォークエネルギーの変動に対しても頑健であることが示された。

ABSTRACT

Top tagging has emerged as a fast-evolving subject due to the top quark's significant role in probing physics beyond the standard model. For the reconstruction of top jets, machine learning models have shown a substantial improvement in the classification performance compared to the previous methods. In this work, we build top taggers using $N$-Subjettiness ratios and several Energy Correlation observables as input features to train the eXtreme Gradient BOOSTed decision tree (XGBOOST). The study finds that tighter parton-level matching lead to more accurate tagging. However, in real experimental data, where the parton level data are unknown, this matching cannot be done. We train the XGBOOST models without performing this matching and show that this difference impacts the taggers' effectiveness. Additionally, we test the tagger under different simulation conditions, including changes in center-of-mass energy, parton distribution functions (PDFs), and pileup effects, demonstrating its robustness with performance deviations of less than 1%. Furthermore, we use the SHapley Additive exPlanation (SHAP) framework to calculate the importance of the features of the trained models. It helps us to estimate how much each feature of the data contributed to the model's prediction and what regions are of more importance for each input variable. Finally, we combine all the tagger variables to form a hybrid tagger and interpret the results using the Shapley values.

研究の動機と目的

• N-部分小分け率とエネルギー相関関数（ECF）観測量を入力特徴量として用いたXGBoostベースのトップタガーモデルの性能を評価すること。
• 部分素粒子レベルのトップクォークと再構成されたファットジェットとのマッチング条件（ΔRm）がタギング効率に与える影響を調査すること。
• 特に終状態放射によるエネルギー損失が生じる状況下で、異なるトップクォーク横運動量（pT）領域におけるタガーモデルの頑健性を評価すること。
• SHAP値を用いてモデルの意思決定プロセスを解釈し、最も影響力のある特徴量とその相互作用効果を同定すること。
• すべての変数を組み合わせたハイブリッドタガーモデルを構築し、SHAP解析を用いてその性能と特徴量重要度を分析すること。

提案手法

• N-部分小分け率、Cシリーズ、Dシリーズ、Mシリーズ、Nシリーズ、UシリーズのECF観測量の6つの特徴量シリーズを用いてXGBoostモデルをトレーニングした。
• 部分素粒子-ジェットマッチングの影響を評価するため、ΔRm（0.6、0.8、1.0）を定義してマッチング条件を設定した。
• 個々の特徴量がモデル予測に与える寄与度を計算するためにSHAP値を用い、特徴量重要度の解釈を可能にした。
• シャープリー相互作用インデックスを適用して特徴量間のペアワイズ相互作用を定量化し、特徴量効果が共起する変数に依存する仕組みを明らかにした。
• すべての入力変数を組み合わせたハイブリッドタガーモデルを構築し、SHAPを用いてその性能と解釈可能性を評価した。
• 剪定処理を施したジェットと施さないジェットの両方で解析を行い、ジェットグルーミングがタギング性能と特徴量関連性に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 部分素粒子レベルのトップクォークと再構成されたファットジェットとの間のマッチング半径（ΔRm）の選択が、XGBoostベースのトップタガーモデルの性能にどのように影響するか？
• RQ2 N-部分小分け率とECFのどちらの運動量観測量セットが、XGBoostベースのトップタギングにおいて最高のタギング効率とAUCを達成するか？
• RQ3 エネルギー損失が生じる状況下で、XGBoostトップタガーモデルは初期トップクォーク横運動量の変動に対してどれほど頑健か？
• RQ4 どの特徴量がモデル分類意思決定に最も顕著に寄与しており、それらの特徴量どうしがどのように相互作用しているか？
• RQ5 SHAP値と相互作用インデックスは、XGBoostトップタガーモデルの物理学的根拠に基づく意思決定をどのように解釈・検証できるか？

主な発見

• N-部分小分け率特徴量が、6つの入力シリーズの中で最高のテスト精度とAUCを示し、ECFベースの特徴量を上回った。
• ΔRmが増加するにつれてタギング性能が低下し、マッチングされていないトップジェットでは最も悪い性能が観測された。これは、マッチング品質に強く依存していることを示している。
• 剪定処理を施したジェットでは、ECFベースの特徴量（特にDシリーズ）がN-部分小分け率を上回ったが、全体のタギング精度は剪定の影響で低下した。
• XGBoostタガーモデルは初期トップクォークエネルギーの変動に対して頑健であり、エネルギー損失を経験した600 GeVのトップジェットをテストした際、性能低下はたった0.7%にとどまった。
• ハイブリッドタガーモデルにおいて、ジェット質量（m_jet）とD3変数の3番目の項（D_3^{(3.0)})が最も重要な特徴量となった。D_3^{(3.0)}は複数の設定で高い順位を維持した。
• SHAP相互作用解析により、m_jetとD_3^{(3.0)}の間で最も強い相互作用が確認された。これは、両者の値の組み合わせがトップジェットとQCDジェットを区別する上で極めて重要であることを示している。