[논문 리뷰] A Detailed Study of Interpretability of Deep Neural Network based Top Taggers

Ayush Khot, M. S. Neubauer외 1명|arXiv (Cornell University)|2022. 10. 09.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 LHC에서의 토큰 쿼크 제트 식별을 위한 딥 뉴럴 네트워크 기반 상위 태거에서의 설명 가능성에 대한 종합적인 분석을 제시한다. 다양한 XAI 방법을 평가하여 제트 분류에서 핵심적인 특징과 잠재 표현을 규명하고, 기존 설명 가능성 기법의 한계를 드러내며, 물리학에 기반한 특징 공학을 적용한 입자 흐름 상호작용 네트워크(PFIN) 모델을 제안한다. 또한 설명 가능성 기반 모델 보완을 통해 DNN의 의사결정 과정에서 더 높은 강건성과 명확성을 확보한다. 결과적으로 PFIN은 LHC에서의 토큰 제트 식별에 있어 성능 향상과 해석 가능성 향상을 동시에 달성한다.

ABSTRACT

Recent developments in the methods of explainable AI (XAI) allow researchers to explore the inner workings of deep neural networks (DNNs), revealing crucial information about input-output relationships and realizing how data connects with machine learning models. In this paper we explore interpretability of DNN models designed to identify jets coming from top quark decay in high energy proton-proton collisions at the Large Hadron Collider (LHC). We review a subset of existing top tagger models and explore different quantitative methods to identify which features play the most important roles in identifying the top jets. We also investigate how and why feature importance varies across different XAI metrics, how correlations among features impact their explainability, and how latent space representations encode information as well as correlate with physically meaningful quantities. Our studies uncover some major pitfalls of existing XAI methods and illustrate how they can be overcome to obtain consistent and meaningful interpretation of these models. We additionally illustrate the activity of hidden layers as Neural Activation Pattern (NAP) diagrams and demonstrate how they can be used to understand how DNNs relay information across the layers and how this understanding can help to make such models significantly simpler by allowing effective model reoptimization and hyperparameter tuning. These studies not only facilitate a methodological approach to interpreting models but also unveil new insights about what these models learn. Incorporating these observations into augmented model design, we propose the Particle Flow Interaction Network (PFIN) model and demonstrate how interpretability-inspired model augmentation can improve top tagging performance.

연구 동기 및 목표

• LHC에서 토큰 쿼크 제트를 식별하는 데 사용되는 딥 뉴럴 네트워크 기반 상위 태거의 해석 가능성에 대해 조사한다.
• 다양한 XAI 방법을 평가하고 비교하여, 모델 예측에서 가장 영향력 있는 입력 특징과 그 역할을 규명한다.
• 특징 상관관계와 잠재 공간 표현이 모델의 해석 가능성과 성능에 미치는 영향을 분석한다.
• 기존 XAI 기법의 문제점을 규명하고, 입자 물리학에서의 DNN에 대해 일관되고 의미 있는 해석이 가능하도록 하는 해결책을 제안한다.
• 해석 가능성 기반 설계를 통해 새로운 모델 아키텍처인 입자 흐름 상호작용 네트워크(PFIN)를 개발하고 검증하며, 상위 태깅 정확도 향상과 모델 단순화를 도모한다.

제안 방법

• 연구는 기존 상위 태거 모델의 일부를 평가하며, 통합 기울기, 시각화 지도, 활성화 기반 방법과 같은 다양한 XAI 메트릭을 사용해 특징 중요도를 분석한다.
• 정보가 은닉층을 통해 어떻게 전파되고 변형되는지 분석할 수 있도록, 신경 활성 패턴(NAP) 다이어그램을 도입한다.
• 저자들은 물리학에 영감을 얻은 간선 특징(ΔR, kT, z, m²)을 제트 구성 요소 간에 통합하여, 해석 가능성과 모델 성능을 향상시키는 입자 흐름 상호작용 네트워크(PFIN)를 설계한다.
• PFIN은 입자 간 상호작용을 임베딩하기 위해 학습 가능한 전환 네트워크(ΦI,2)를 사용하며, 이를 원본 입자 특징과 연결한 후, 제트 수준의 잠재 표현으로 집계한다.
• 최종 분류 네트워크(F)는 집계된 제트 수준 특징에 기반해 제트 클래스 확률을 예측하며, 순열 불변성과 물리적 일관성을 보장한다.
• 연구는 합성 및 실제 LHC 제트 데이터 세트를 사용하여 XAI 기법을 검증하고 모델 성능을 평가하며, PFIN을 기준 DNN 모델과 비교한다.

실험 결과

연구 질문

• RQ1 다양한 XAI 메트릭은 상위 제트 분류에서 가장 중요한 특징을 어떻게 평가하는가? 그리고 왜 일관되지 않은 결과를 낳는가?
• RQ2 제트 구성 요소 간 상관관계는 DNN에서 특징 중요도 점수의 신뢰성과 일관성에 어떤 영향을 미치는가?
• RQ3 DNN의 잠재 공간 표현이 제트 하위구조나 파arton 샤워 역사를 포함한 물리적으로 의미 있는 양을 얼마나 잘 캐릭터라이즈하는가?
• RQ4 해석 가능성 기반 모델 설계는 상위 태깅에서 성능 향상과 더 단순한 아키텍처를 가능하게 하는가?
• RQ5 신경 활성 패턴(NAP) 다이어그램은 어떻게 모델 재최적화와 하이퍼파rameter 튜닝을 안내하는 데 사용될 수 있는가?

주요 결과

• 다양한 XAI 방법은 일관되지 않은 특징 중요도 순위를 도출하며, 모델에 종속되지 않은 기법이 특징 상관관계와 기울기 포화로 인해 오해의 소지가 있음을 드러낸다.
• 높은 상관관계를 가진 특징들은 종종 부정확한 중요도 점수를 유도하며, 통합 기울기와 시각화 지도와 같은 인기 있는 XAI 기법에서 특정 실패 모드를 규명한다.
• DNN의 잠재 공간 표현은 제트 질량과 하위구조와 같은 물리적으로 의미 있는 양과 강하게 상관되어 있으며, 이는 그 해석 가능성의 타당성을 뒷받침한다.
• 물리학에 기반한 상호작용 특징(ΔR, kT, z, m²)을 통합한 PFIN 모델은 기준 DNN보다 뛰어난 성능을 보이며, 해석 가능성 기반 설계가 정확도와 강건성을 모두 향상시킨다는 것을 입증한다.
• NAP 다이어그램은 층 간 정보 흐름을 효과적으로 드러내어, 모델을 간소화하면서도 성능을 유지하거나 향상시키는 데 있어 표적적인 재최적화와 하이퍼파rameter 튜닝을 가능하게 한다.
• 물리학에 기반한 상호작용 임베딩을 입력 특징에 추가함으로써, 더 안정적이고 해석 가능한 DNN를 만들 수 있음을 입증하며, 블랙박스 행동에 대한 의존도를 감소시킨다.