[논문 리뷰] Meta-learning and data augmentation for mass-generalised jet taggers

Matthew J. Dolan, Ayodele Ore|arXiv (Cornell University)|2021. 11. 11.

Particle physics theoretical and experimental studies참고 문헌 2인용 수 7

한 줄 요약

이 논문은 고에너지 물리학에서 질량 일반화된 제트 태깅을 위한 메타학습과 데이터 증강을 조사하며, 단순한 줌 기반 데이터 증강만으로도 제트 질량 전반에 걸쳐 거의 최적의 일반화 성능를 달성함을 보여주며, 메타학습 방법은 추가로 미미한 향상만 제공함을 확인함. 이 연구는 효과적인 일반화가 본질적으로 질량 비일관성을 감소시켜 공역 검색에서 배경에 대한 강건성을 향상시킴을 시사함.

ABSTRACT

Deep neural networks trained for jet tagging are typically specific to a narrow range of transverse momenta or jet masses. Given the large phase space that the LHC is able to probe, the potential benefit of classifiers that are effective over a wide range of masses or transverse momenta is significant. In this work we benchmark the performance of a number of methods for achieving accurate classification at masses distant from those used in training, with a focus on algorithms that leverage meta-learning. We study the discrimination of jets from boosted $Z'$ bosons against a QCD background. We find that a simple data augmentation strategy that standardises the angular scale of jets with different masses is sufficient to produce strong generalisation. The meta-learning algorithms provide only a small improvement in generalisation when combined with this augmentation. We also comment on the relationship between mass generalisation and mass decorrelation, demonstrating that those models which generalise better than the baseline also sculpt the background to a smaller degree.

연구 동기 및 목표

• 훈련 데이터가 고질량에서 제한적인 상황에서 넓은 범위의 제트 질량을 통해 일반화하는 제트 태거를 훈련하는 데 도전하는 데 초점함.
• 메타학습 알고리즘의 일반화 성능 향상이 표준 데이터 증강 및 정규화를 초월하는지 평가하는 것.
• 모델의 일반화와 질량 비일관성 간의 관계, 특히 배경 형태 변화 효과를 줄이는 데 중점을 두는 것.
• 질량 일반화된 제트 태깅 설정에서 데이터 증강(줌, 플레닝), L1 정규화, 메타학습(MetaReg, Feature-Critic)의 효과를 비교 평가하는 것.

제안 방법

• 연구는 특정 소스 질량에서의 복합 Z′ 붕괴에서 유도된 시뮬레이션 제트를 기반으로 훈련하는 완전 연결 피드포워드 네트워크(PFN)를 기본 모델로 사용함.
• 줌을 통한 데이터 증강은 다양한 질량에서 제트의 각도 척도를 정규화하여 질량에 의존하는 기하학적 왜곡에 대해 불변성을 확보함.
• 플레닝은 질량 간 제트 운동량 분포를 표준화하여 입력 특징의 척도 편향을 줄임.
• 메타학습 알고리즘인 MetaReg와 Feature-Critic는 훈련 중에 예상치 못한 질량 도메인 전역에서의 일반화를 최적화하기 위해 적용됨.
• L1 가중치 감쇠는 질량 인식 전처리 없이도 희소하고 일반화 가능한 특징 학습을 장려하기 위해 정규화 기법으로 사용됨.
• 성능 평가 범위는 150–600 GeV의 다양한 목표 질량이며, 일반화 능력은 AUC와 예측 값의 제트 질량에 대한 상관관계를 통한 질량 비일관성으로 측정됨.

실험 결과

연구 질문

• RQ1 표준 데이터 증강 및 정규화에 비해 메타학습 알고리즘이 넓게 떨어진 제트 질량 간의 제트 태거 일반화 성능을 크게 향상시킬 수 있는가?
• RQ2 줌 기반 데이터 증강만으로도 거의 최적의 일반화 성능를 달성하여 추가 메타학습 방법이 불필요한가?
• RQ3 효과적인 일반화가 제트 태깅 모델에서 질량 비일관성과 배경 형태 변화를 어느 정도 감소시키는가?
• RQ4 L1 정규화는 데이터 증강 및 메타학습에 비해 질량 무관 결론 경계를 촉진하는 데 어떻게 비교되는가?
• RQ5 일반화 성능 향상과 모델 예측 값과 제트 질량 간 상관관계 감소 사이에 직접적인 연관성이 존재하는가?

주요 결과

• 줌 기반 데이터 증강만으로도 제트 질량 전반에 걸쳐 거의 최적의 일반화 성능를 달성하며, 베이스라인 모델을 능가하고 질량 비일관성을 효과적으로 감소시킴.
• 줌과 결합된 메타학습 알고리즘(MetaReg 및 Feature-Critic)은 추가로 미미한 향상만 제공함을 확인하여 이 설정에서의 추가 가치가 제한됨.
• 줌이 없을 경우, 질량 인식 설계 없이도 L1 정규화가 베이스라인보다 더 나은 일반화 성능와 낮은 질량 상관관계를 달성함.
• 가장 일반화 성능가 뛰어난 모델들—특히 L1 정규화된 PFN과 줌 처리된 모델—은 제트 질량과 가장 낮은 상관관계를 보이며 효과적인 배경 비일관성 감소를 나타냄.
• 질량 플레닝은 멀리 떨어진 훈련 질량 간의 일반화에 가장 효과적이지만, 전체 성능에서 줘밍에 의해 그 이점이 흡수됨.
• 모든 줌 처리 모델은 질량 의존성이 크게 감소함을 확인하여 전처리 기반 불변성이 일반화의 핵심 요소임을 입증함.