[논문 리뷰] An Attention Based Neural Network for Jet Tagging

Jing Li, Hao Sun|arXiv (Cornell University)|2020. 09. 01.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 논문은 평균 신호 및 배경 제트 이미지를 쿼리로 사용하여 주목사의 지도를 생성함으로써 해석 가능성성을 향상시키는 주목사 기반 신경망(ABNN)을 제안한다. ABNN은 분류 정확도와 배경 제거 능력에서 표준 컨볼루션 신경망(CNN)을 능가하며, 시각화 결과는 신호 제트에서는 하위제트 영역에 집중하고 QCD 배경에서는 이를 피하는 것으로 나타나, 주목사 유도 특징 추출을 통한 향상된 특징 구분 능력을 입증한다.

ABSTRACT

Convolutional neural networks are basic structures using jet images as input for the jet tagging problems. However, what they have learned during the training process is always difficult to understand just through feature maps. Inspired by the attention mechanism popular in machine learning fields, we propose a novel attention-based neural network (ABNN) to get insight of this problem. The ABNN combines a jet image with average jet images from the signal and the background to generate attention maps which show clearly the relevant importance according to the different origination of jets. Compared with networks in the similar architecture, this network achieves better performance, which indicates the potential of attention mechanism to use in other works.

연구 동기 및 목표

• 주목사 기반 신경망(CNN)을 사용한 제트 태깅에서 특징 맵만으로는 어떤 이미지 영역이 분류에 영향을 주는지 밝혀내기 어려운 해석 가능성 부족 문제를 해결하기 위해.
• 지속적인 제트의 하위구조 특징을 강조하는 주목사 기반 메커니즘을 통합하여 제트 태깅 성능을 향상시키기 위해.
• 평균 신호 및 배경 제트 이미지에서 유도된 주목사 지도를 시각화하여 네트워크가 제트를 어떻게 분류하는지 통찰을 제공하기 위해.
• 주목사 계산에 사용된 평균 제트 이미지의 수가 변할 때 ABNN 아키텍처의 강인성과 성능을 평가하기 위해.

제안 방법

• ABNN은 입력 제트 이미지와 신호 및 배경 클래스의 평균 제트 이미지를 위한 별도의 스택드 CNN을 특징 추출기로 사용한다.
• 중간 특징 맵 간의 호환성 점수를 계산하여 입력 제트 이미지의 중간 특징 맵과 평균 제트 이미지 특징 맵 간의 주목사 지도를 생성한다.
• 주목사 메커니즘은 평균 신호 제트 이미지를 쿼리로 사용하여 하위제트 영역에 집중하도록 유도하고, 평균 배경 이미지는 하위제트 영역을 억제하도록 한다.
• 입력 제트 이미지의 특징 맵은 주목사 점수에 의해 가중되며, 이로써 네트워크는 관련 영역을 강조하고 불필요한 영역은 경시할 수 있다.
• 최종 분류에는 주목사 특징에 대해 전결합층을 적용하고, 주목사 지도에 정규화를 적용하여 해석 가능성을 높인다.
• 표준 CNN과 주목사 기반 여부에 따라 ABNN 아키텍처를 벤치마크로 평가하고, 다양한 수의 평균 제트 이미지를 사용한 탈락 연구를 수행한다.

실험 결과

연구 질문

• RQ1 주목사 기반 메커니즘이 지속적인 제트의 하위구조 특징을 강조함으로써 제트 태깅 모델의 해석 가능성성을 향상시킬 수 있는가?
• RQ2 평균 신호 및 배경 제트 이미지를 쿼리로 사용할 경우 주목사 지도 생성 및 분류 성능에 어떤 영향을 미치는가?
• RQ3 주목사 기반 메커니즘이 주목사 계산에 사용된 평균 제트 이미지의 수가 변할 때 강인성과 일반화 능력을 향상시키는가?
• RQ4 특히 배경 제거 능력과 정확도 측면에서, 주목사 기반 메커니즘을 통합하지 않은 표준 CNN과 비교해 ABNN의 성능은 어떠한가?

주요 결과

• ABNN은 표준 CNN보다 뛰어난 분류 정확도와 배경 제거 능력을 확보하여 주목사 기반 메커니즘이 제트 태깅에서 효과적임을 입증한다.
• 주목사 지도의 시각화 결과는 평균 신호 제트 이미지를 쿼리로 사용할 경우 네트워크가 하위제트 영역에 집중하는 반면, 평균 배경 이미지를 쿼리로 사용할 경우 이러한 영역을 피하는 것으로 나타났다.
• 주목사 메커니즘은 둘 다 하위제트를 포함하고 있음에도 불구하고, 신호에서는 하위제트 특징을 강조하고 배경에서는 이를 억제함으로써 미세한 차이를 구분할 수 있도록 한다.
• ABNN은 주목사 계산에 사용된 평균 제트 이미지의 수가 변할 때에도 일관된 성능을 유지하여 평균 이미지 추정의 통계적 변동성에 강인함을 보였다.
• 반면, 주목사 기반 메커니즘을 통합하지 않은 표준 CNN은 평균 이미지 수가 증가함에 따라 성능이 저하되는 경향을 보였으며, 이는 주목사 기반 메커니즘이 안정화 효과를 제공함을 시사한다.