[논문 리뷰] Symmetries, Safety, and Self-Supervision

Barry M. Dillon, G. Kasieczka외 4명|arXiv (Cornell University)|2021. 08. 09.

Medical Imaging Techniques and Applications참고 문헌 52인용 수 16

한 줄 요약

이 논문은 퍼미터이션-에퀴아리언트 트랜스포머 인코더를 사용하여 제트 구성 입자를 대칭 불변 표현으로 매핑하는 자기지도 학습 대비 학습 프레임워크인 JetCLR을 소개한다. 이 방법은 상위 태깅 작업에서 최신 기술 성능을 달성하며, 선형 분류기 테스트에서 에너지 흐름 다항식(EFPs)과 비교해 뛰어난 성능을 보이며, JetCLR 표현에서 AUC가 0.980, EFPs(d ≤ 7)에서 AUC가 0.972를 기록한다.

ABSTRACT

Collider searches face the challenge of defining a representation of high-dimensional data such that physical symmetries are manifest, the discriminating features are retained, and the choice of representation is new-physics agnostic. We introduce JetCLR to solve the mapping from low-level data to optimized observables though self-supervised contrastive learning. As an example, we construct a data representation for top and QCD jets using a permutation-invariant transformer-encoder network and visualize its symmetry properties. We compare the JetCLR representation with alternative representations using linear classifier tests and find it to work quite well.

연구 동기 및 목표

• 로렌츠 불변성, 순열 대칭성, 소프트/콜라린어 안정성과 같은 물리적 대칭성에 대해 불변인 새로운 제트 데이터 표현을 개발하는 것.
• 수동으로 설계된 관측량을 대체하여 자기지도 또는 준자기지도 제트 물리 분석을 가능하게 하기 위해, 자기지도 학습을 통해 최적화된 학습된 고차원 표현으로 전환하는 것.
• 표준 머신러닝 평가 프로토콜, 특히 선형 분류기 테스트를 통해 학습된 표현의 분류 능력을 벤치마크하는 것.
• 표현이 특정 새로운 물리 모델이나 레이블 데이터에 종속되지 않으면서도 물리적 분류 기능을 유지하는지 보여주는 것.

제안 방법

• 제트 구성 입자(pt, eta, phi로 정의됨)를 저차원의 대칭 불변 표현 공간으로 매핑하기 위해 트랜스포머 인코더 네트워크를 사용한다.
• 동일한 제트의 증강된 시각화(양성 쌍)가 표현 공간에서 가까이 있도록 하고, 음성 쌍은 떨어지도록 하는 대비 손실 함수를 사용해 대비 학습을 수행한다.
• 핵심 대칭성은 데이터 증강을 통해 강제한다: 회전, 이동, 순열 불변성, 에너지 재스케일링을 통한 소프트/콜라린어 안정성.
• 표현 공간은 이러한 대칭성에 대해 불변이면서도, 상위 제트와 QCD 제트 간의 분류 능력을 유지하도록 최적화된다.
• 10겹 교차 검증을 사용해 이진 크로스엔트로피, 서포트 벡터 머신(SVM), 선형 판별 분석(LDA)을 사용한 선형 분류기 테스트를 통해 성능을 평가한다. 이는 표현 공간 내 선형 가분성을 평가하기 위함이다.
• 진짜 레이블 없이 학습되기 때문에, 이는 자기지도 학습이며, 이상 탐지나 일반화된 모델 탐색에 적합하다.

실험 결과

연구 질문

• RQ1 자기지도 대비 학습 프레임워크가 로렌츠 불변성과 순열 대칭성과 같은 기본 물리 대칭성에 대해 불변인 제트 표현을 학습할 수 있는가?
• RQ2 상위 태깅 작업에서 JetCLR 표현의 분류 능력은 에너지 흐름 다항식(EFPs)과 같은 기존 관측량과 비교해 어떻게 되는가?
• RQ3 표현 공간이 상위 쿼크 붕괴 입자의 기하학적 구조를 어느 정도 유지하면서도 QCD 제트 활동을 억제하는가?
• RQ4 학습 중에 레이블 데이터에 의존하지 않고도 학습된 표현이 효과적인 선형 분류를 지원할 수 있는가?
• RQ5 다양한 선형 분류기 아키텍처와 손실 함수에 대해 표현이 얼마나 강건한가?

주요 결과

• 이중 크로스엔트로피 손실을 사용한 선형 분류기 테스트에서 JetCLR는 AUC 0.980을 기록하며, EFPs(d ≤ 7)가 기록한 AUC 0.972를 초월한다.
• 이 방법은 다양한 선형 분류기에서 뛰어난 일반화 성능를 보이며, 헤지 손실을 사용한 SVM의 경우 AUC 0.977, 선형 판별 분석의 경우 AUC 0.977를 기록하며, 모두 EFPs를 뛰어넘는다.
• 표현 공간은 제트 구성 입자의 순열, 회전, 이동, 소프트/콜라린어 안정성 증강에 대해 불변임이 시각화 및 분석 실험을 통해 확인되었다.
• 선형 분류기 테스트 결과는 JetCLR 표현이 EFPs보다 상위 제트와 QCD 제트 간의 선형 가분성을 더 잘 구현하고 있음을 보여주며, EFPs가 이론적으로 계산 가능하고 인프라레드 안정성도 확보하고 있음에도 불구하고 말이다.
• JetCLR와 EFPs 간의 성능 격차는 여러 분류기 유형에 걸쳐 일관되며, 이는 표현의 후속 선형 탐색에 대한 강건성을 시사한다.
• 선형 판별 분석에서 가우시안 가정이 강하게 적용되더라도 JetCLR 표현은 AUC 0.977을 기록하며 잘 작동함을 보이며, 이는 표현이 의미 있는 선형 가분성의 구조를 잘 포착하고 있음을 시사한다.