[논문 리뷰] Explainable AI for ML jet taggers using expert variables and layerwise relevance propagation

Garvita Agarwal, L. Hay외 6명|arXiv (Cornell University)|2020. 11. 26.

Reservoir Engineering and Simulation Methods참고 문헌 61인용 수 18

한 줄 요약

이 논문은 전문가 변수(XAUG)를 통합하고 계층별 중요도 전파(LRP)를 적용하여 딥 뉴럴 네트워크(DNN) 제트 태거의 성능을 향상시키는 새로운 해석 가능한 인공지능(XAI) 프레임워크를 제안한다. XAUG 변수를 중간 네트워크 레이어에 연결함으로써 분류 성능을 최대 30–40% 향상시키고 해석 가능한 기능 순위를 가능하게 한다. 주요 결과로는 단순한 경우에서 XAUG 변수만으로도 분류기의 행동을 포괄할 수 있으며, 저수준 특징과의 병합을 통해 최적의 분류 성능을 달성할 수 있으며, 특히 AUC가 0.99를 초월하는 실제 입자 수준 모델에서 뛰어난 성능을 보였다.

ABSTRACT

A framework is presented to extract and understand decision-making information from a deep neural network (DNN) classifier of jet substructure tagging techniques. The general method studied is to provide expert variables that augment inputs ("eXpert AUGmented" variables, or XAUG variables), then apply layerwise relevance propagation (LRP) to networks both with and without XAUG variables. The XAUG variables are concatenated with the intermediate layers after network-specific operations (such as convolution or recurrence), and used in the final layers of the network. The results of comparing networks with and without the addition of XAUG variables show that XAUG variables can be used to interpret classifier behavior, increase discrimination ability when combined with low-level features, and in some cases capture the behavior of the classifier completely. The LRP technique can be used to find relevant information the network is using, and when combined with the XAUG variables, can be used to rank features, allowing one to find a reduced set of features that capture part of the network performance. In the studies presented, adding XAUG variables to low-level DNNs increased the efficiency of classifiers by as much as 30-40\%. In addition to performance improvements, an approach to quantify numerical uncertainties in the training of these DNNs is presented.

연구 동기 및 목표

• 모델 결정 과정이 투명하지 않은 고에너지물리학(HEP) 분야의 딥러닝 제트 태거를 위한 해석 가능한 인공지능(XAI) 프레임워크 개발
• 저수준 DNN 특징과 전문가 유래 변수(XAUG)를 통합하여 분류 성능 향상
• 계층별 중요도 전파(LRP)를 활용해 DNN 결정의 해석 가능성을 확보하고 기능 중요도 순위를 매김
• 다양한 학습 실행을 통한 앙상블 평균을 통해 DNN 학습의 수치적 불확실성 정량화
• XAUG 변수가 분류기 행동을 포괄하거나 이끌 수 있음을 입증하여 복잡한 저수준 특징에 대한 의존도 감소

제안 방법

• 컨볼루션 또는 순환 네트워크 레이어 이후에 XAUG 변수를 연결하여 DNN 입력을 보강
• 최종 예측 점수를 분해하고 중요도를 입력 특징과 XAUG 변수에 할당하기 위해 계층별 중요도 전파(LRP) 적용
• 정규화된 중요도 점수를 사용해 기능 순위를 매기고 가장 영향력 있는 기능을 식별하여 차원 축소 가능
• 다양한 랜덤 시드로 다수의 DNN 인스턴스를 학습하고 예측 평균을 통해 수치적 불확실성 추정
• 시뮬레이션된 제트 데이터(Z→bb 대 QCD)에 대해 2D CNN, 1D CNN, 1D RNN을 사용해 성능 및 해석 가능성 평가
• 이벤트당 20개의 입자와 17개의 XAUG 변수(예: 제트 질량, 그루밍, 생애 주기, 영향력 파라미터)를 포함한 입자 수준 시뮬레이션을 통해 실제 적용 가능성 테스트

실험 결과

연구 질문

• RQ1 단순 모델에서 XAUG 변수만으로도 복잡한 DNN 제트 태거의 의사결정을 재현할 수 있는가?
• RQ2 실제 제트 서구조 작업에서 XAUG 변수와 저수준 특징을 병합했을 때 분류 성능에 어떤 영향을 미치는가?
• RQ3 LRP와 XAUG 변수가 DNN 의사결정을 이끄는 가장 중요한 기능을 얼마나 정확히 식별하고 순위를 매길 수 있는가?
• RQ4 LRP에서 유도된 중요도 점수를 활용해 최소한의 고성능 기능 세트를 구성할 수 있는가?
• RQ5 앙상블 학습과 LRP 분석을 통해 DNN 학습의 수치적 불확실성을 어떻게 정량화하고 관리할 수 있는가?

주요 결과

• 입자 수준 모델에서 저수준 DNN에 XAUG 변수를 추가함으로써 분류기 효율성이 30–40% 향상되었으며, AUC는 0.994–0.995로 크게 향상됨
• 토이 모델에서 XAUG 변수만으로도 DNN의 의사결정 과정을 완전히 재현함을 입증하여, 단순한 다층퍼셉트론이 전문가 변수만으로도 네트워크의 행동을 재현할 수 있음을 보여줌
• 실제 입자 수준 모델에서 XAUG 변수와 저수준 특징의 병합이 최고의 성능을 달성하였으며, 2D CNN의 경우 AUC가 0.99를 초월하고 RNN의 경우 0.975에 도달함
• LRP 중요도 순으로 상위 5개의 XAUG 변수만으로도 전체 기능 세트의 거의 모든 분류 능력을 보존함으로써 효과적인 기능 축소 가능
• LRP 분석 결과, 입자 수준 모델에서 이미지 입력(저수준 특징)의 중요도는 어떤 단일 XAUG 변수보다 높았지만, 상위 XAUG 변수들의 합은 이미지 입력의 중요도를 초월하여 그들의 집합적 중요도를 입증함
• 다수의 학습 실행을 통해 저중요도 기능에 대한 의존성이 변동하는 경향을 관찰하여, 실행 간 예측 평균이 DNN 학습의 수치적 불확실성을 안정적으로 추정하는 데 효과적임을 시사함