[論文レビュー] A Detailed Study of Interpretability of Deep Neural Network based Top Taggers

Ayush Khot, M. S. Neubauer+1 more|arXiv (Cornell University)|Oct 9, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、LHCにおけるトップクォークジェット同定のための深層ニューラルネットワークベースのトップタッカーにおける解釈可能性について包括的な分析を提示し、複数のXAI手法を評価してジェット分類における重要な特徴量と潜在表現を同定する。既存の解釈可能性技術の限界を明らかにし、物理学に根ざした特徴工学を組み込んだ粒子フロー相互作用ネットワーク（PFIN）モデルを提案。解釈可能性駆動のモデル拡張により、DNN意思決定の強靭性と明確性が向上し、LHCにおけるトップクォークジェット同定の分野で優れた性能を達成した。

ABSTRACT

Recent developments in the methods of explainable AI (XAI) allow researchers to explore the inner workings of deep neural networks (DNNs), revealing crucial information about input-output relationships and realizing how data connects with machine learning models. In this paper we explore interpretability of DNN models designed to identify jets coming from top quark decay in high energy proton-proton collisions at the Large Hadron Collider (LHC). We review a subset of existing top tagger models and explore different quantitative methods to identify which features play the most important roles in identifying the top jets. We also investigate how and why feature importance varies across different XAI metrics, how correlations among features impact their explainability, and how latent space representations encode information as well as correlate with physically meaningful quantities. Our studies uncover some major pitfalls of existing XAI methods and illustrate how they can be overcome to obtain consistent and meaningful interpretation of these models. We additionally illustrate the activity of hidden layers as Neural Activation Pattern (NAP) diagrams and demonstrate how they can be used to understand how DNNs relay information across the layers and how this understanding can help to make such models significantly simpler by allowing effective model reoptimization and hyperparameter tuning. These studies not only facilitate a methodological approach to interpreting models but also unveil new insights about what these models learn. Incorporating these observations into augmented model design, we propose the Particle Flow Interaction Network (PFIN) model and demonstrate how interpretability-inspired model augmentation can improve top tagging performance.

研究の動機と目的

• LHCにおけるトップクォークジェットを同定するために使用される深層ニューラルネットワークベースのトップタッカーの解釈可能性を調査すること。
• 複数のXAI手法を評価・比較し、最も影響力のある入力特徴量とそのモデル予測における役割を同定すること。
• 特徴量の相関関係と潜在空間表現が、モデルの解釈可能性と性能に与える影響を分析すること。
• 既存のXAI技術における落とし穴を特定し、素粒子物理学分野におけるDNNの一貫性があり意味のある解釈が可能な解決策を提案すること。
• 解釈可能性駆動の設計を用いて、新しいモデルアーキテクチャ（粒子フロー相互作用ネットワーク：PFIN）を構築・検証し、トップタッキングの正確性とモデルの単純性を向上させること。

提案手法

• 本研究は、既存のトップタッカー・モデルのサブセットを評価し、統合勾配、サリエンシーマップ、活性化ベース手法などの複数のXAI指標を用いて特徴量の重要度を分析した。
• 情報の流れを可視化するためのニューラル活性化パターン（NAP）図を導入し、特徴量がネットワーク内をどのように伝播・変換されるかを分析可能にした。
• 研究者らは、ジェット構成粒子間の物理学的インスピレーションを受けて設計されたエッジ特徴量（ΔR、kT、z、m²）を組み込んだ粒子フロー相互作用ネットワーク（PFIN）を設計した。
• PFINは、粒子同士の相互作用を学習可能な変換ネットワーク（ΦI,2）を用いて埋め込み、元の粒子特徴量と連結した後、ジェットレベルの潜在表現に集約した。
• 最終的な分類器ネットワーク（F）は、集約されたジェットレベル特徴量に基づいてジェットクラスの確率を予測し、順列不変性と物理的整合性を確保した。
• XAI手法の妥当性とモデル性能の評価のため、合成データおよび実際のLHCジェットデータセットを用いてPFINとベースラインDNNを比較した。

実験結果

リサーチクエスチョン

• RQ1 異なるXAI指標は、トップジェット分類における最も重要な特徴量を同定する際に、どのように比較されるか。また、それらが一貫性のない結果をもたらす理由は何か。
• RQ2 ジェット構成粒子間の相関関係は、DNNにおける特徴量重要度スコアの信頼性と一貫性にどのように影響を与えるか。
• RQ3 DNNの潜在空間表現が、ジェットの部分構造やパートンシャワー履歴といった物理的に意味のある量をどの程度にエンコードしているか。
• RQ4 解釈可能性駆動のモデル設計は、トップタッキングにおける性能向上とアーキテクチャの単純化を実現できるか。
• RQ5 ニューラル活性化パターン（NAP）図は、モデルの再最適化およびハイパーパramータチューニングをどのように支援できるか。

主な発見

• 異なるXAI手法は一貫性のない特徴量重要度順位を生じさせ、モデルに依存しない手法が特徴量の相関や勾配の飽和により誤解を招く可能性があることが明らかになった。
• 高い相関を持つ特徴量はしばしば誤った重要度スコアを生じさせ、統合勾配やサリエンシーマップといった一般的なXAI手法に特定の失敗モードが存在することが同定された。
• DNNの潜在空間表現は、ジェット質量や部分構造といった物理的に意味のある量と強く相関しており、その解釈可能性が裏付けられた。
• 物理学的インスピレーションを受けて設計された相互作用特徴量（ΔR、kT、z、m²）を組み込んだPFINモデルは、ベースラインDNNを上回る優れた性能を示し、解釈可能性駆動の設計が正確性と強靭性の両方を向上させることを実証した。
• NAP図は、層間を貫わる情報の流れを効果的に可視化し、特定の再最適化やハイパーパramータチューニングを可能にし、モデルの単純化を実現しながら性能を維持または向上させた。
• 本研究は、物理に根ざした相互作用埋め込みを入力特徴量に追加することで、より安定的かつ解釈可能なDNNが実現でき、ブラックボックス行動への依存を低減できることを示した。