[論文レビュー] Long Short-Term Memory (LSTM) networks with jet constituents for boosted top tagging at the LHC

Shannon Egan, Wojciech Fedorko+3 more|arXiv (Cornell University)|Nov 24, 2017

Particle physics theoretical and experimental studies参考文献 15被引用数 30

ひとこと要約

本論文では、LHCにおけるブーストドトップクォークタギングにおいて、長短記憶（LSTM）ネットワークをジェット構成粒子の系列に適用し、完全結合DNNを上回る性能を発揮することを提案している。信号効率50%で背景排除率100を達成した。本手法は、ジェットの部分構造に基づく新しい順序付け法を用いて、ジェット部分構造の系列モデリングを強化し、従来の手法と比べ顕著な識別性能の向上を実現した。

ABSTRACT

Multivariate techniques based on engineered features have found wide adoption in the identification of jets resulting from hadronic top decays at the Large Hadron Collider (LHC). Recent Deep Learning developments in this area include the treatment of the calorimeter activation as an image or supplying a list of jet constituent momenta to a fully connected network. This latter approach lends itself well to the use of Recurrent Neural Networks. In this work the applicability of architectures incorporating Long Short-Term Memory (LSTM) networks is explored. Several network architectures, methods of ordering of jet constituents, and input pre-processing are studied. The best performing LSTM network achieves a background rejection of 100 for 50% signal efficiency. This represents more than a factor of two improvement over a fully connected Deep Neural Network (DNN) trained on similar types of inputs.

研究の動機と目的

• 従来の多次元手法を超える深層学習を用いたブーストドトップクォークタギング性能の向上を目的とする。
• 完全結合ネットワークと比較して、LSTMのような再帰的ニューラルネットワークが、可変長のジェット構成粒子系列をより効果的にモデル化できるかどうかを調査すること。
• ジェットクラスタリング履歴に基づく新しいジェット構成粒子順序付け法の開発と評価を目的とする。
• 積層とトリミングがLSTMベースのタギング性能に与える影響を評価すること。
• 同一の入力条件下で、LSTMと最先端のDNNタギング器のロバストネスと識別力の比較を実施すること。

提案手法

• ジェット構成粒子（pT, η, φ）が、再帰的な部分構造に基づくソーティングアルゴリズムによって生成される順序でLSTMネットワークに逐次入力される。このアルゴリズムは、ジェットクラスタリングツリーを走査する。
• LSTMは構成粒子の系列を処理し、分類に使用するための64ノードの全結合層に、最終隠れ状態のみを入力する。
• 階層的な部分構造を優先する再帰的処理により、最もエネルギーの高い部分ジェットを順次選択する、新たな構成粒子順序付け法を導入した。
• モデルは、700万本のジェット（信号と背景が等比）を用いたデータセット上でAdam最適化法を用いて学習した。ジェットのpTは600–2500 GeV、|η| ≤ 2.0の範囲であった。
• LHC2016（平均23個の衝突）、LHC2018（平均50個の衝突）の2つの積層状況と、トリミング（R=0.2、5% pT閾値）を評価し、ロバストネスを検証した。
• 性能評価はROC曲線と、固定信号効率（20%、50%、80%）における背景排除率を用いた。

実験結果

リサーチクエスチョン

• RQ1 同じジェット構成粒子モーメンタムのリストを学習データとして用いる場合、LSTMベースのモデルは完全結合DNNを上回る性能を発揮するか？
• RQ2 ジェットの部分構造に配慮した構成粒子の順序付けは、LSTMのような系列モデルのトップタギング性能を向上させるか？
• RQ3 積層はLSTMベースのトップタギング性能にどのような影響を及ぼすか？また、トリミングはその影響を緩和するか？
• RQ4 入力系列の順序付けの性質を活用することで、静的特徴工学の範囲を超えて識別性能を向上させられるか？
• RQ5 入力順序の選択（例：部分ジェット順序付け対部分構造順序付け）が、モデルのロバストネスと排除力に与える影響は何か？

主な発見

• 最良のLSTMネットワークは、信号効率50%で背景排除率100を達成し、DNNタギング器を2倍以上上回る性能を示した。
• 部分構造に基づく順序付けとトリミングなしのLSTMは、LHC2016の積層条件下で、信号効率20%で背景排除率930を達成した。
• 部分ジェット順序付けとトリミングを用いたLSTMは、LHC2016の積層条件下で、信号効率20%で背景排除率780を達成し、DNNの365を上回った。
• 部分構造順序付けを使用したLSTMは、積層状態に対してより感受性が高く、積層がジェットクラスタリング順序を変化させ、系列ベースのモデルに影響を及ぼす可能性を示唆した。
• 部分構造に基づく順序付け法は、部分ジェット順序付けよりも性能を向上させ、特に高積層環境下で顕著な向上を示した。これは、階層的なジェット構造が、利用可能な情報であることを示している。
• 部分構造順序付けとトリミングなしのLSTMモデルは、LHC2016の積層条件下で、信号効率50%で背景排除率101を達成し、DNNの45を著しく上回った。