[논문 리뷰] Anomalies, Representations, and Self-Supervision

Barry M. Dillon, Luigi Favaro외 3명|arXiv (Cornell University)|2023. 01. 11.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 고에너지 물리학에서 모델에 종속되지 않는 이상치 탐지에 적합한 자기지도 대비 학습 방법인 AnomalyCLR를 소개한다. 이 방법은 배경 데이터에 이상치를 추가한 데이터를 사용하여 순열에 불변인 Transformer 인코더를 통해 강건하고 불변인 표현을 학습한다. CMS ADC2021 데이터셋의 여러 벤치마크 신호에서 30%의 신호 효율에서 원시 데이터 기반 모델 대비 14–70%의 정의도 향상을 달성한다.

ABSTRACT

We develop a self-supervised method for density-based anomaly detection using contrastive learning, and test it using event-level anomaly data from CMS ADC2021. The AnomalyCLR technique is data-driven and uses augmentations of the background data to mimic non-Standard-Model events in a model-agnostic way. It uses a permutation-invariant Transformer Encoder architecture to map the objects measured in a collider event to the representation space, where the data augmentations define a representation space which is sensitive to potential anomalous features. An AutoEncoder trained on background representations then computes anomaly scores for a variety of signals in the representation space. With AnomalyCLR we find significant improvements on performance metrics for all signals when compared to the raw data baseline.

연구 동기 및 목표

• 기존의 가설 기반 방법이 뜻밖의 신호를 놓칠 수 있는 CERN의 LHC에서의 모델에 종속되지 않는 새로운 물리학 탐색 과제를 해결한다.
• 기존의 밀도 기반 이상치 탐지 방법의 한계를 극복한다. 이러한 방법들은 좌표계 선택에 민감하고 데이터 재매개변수화에 대해 불변성이 없기 때문이다.
• 진실 레이블이나 신호 전용 사전 지식이 필요 없이 물리적 대칭성에 대해 불변이면서 일반적인 이상 특징에 민감한 표현 학습 프레임워크를 개발한다.
• 비표준 모델 물리학을 모방하는 데이터 증강을 통해 가짜 레이블을 구성함으로써 자기지도 학습을 통해 이상치 탐지 성능을 향상시킨다.
• 자기지도 이상치 증강 대비 학습이 자동인코더를 사용한 후속 이상치 스코어링을 위한 강건하고 구분력 있는 표현을 학습하는 데 효과적임을 입증한다.

제안 방법

• 배경 데이터에 이상치를 추가한 증강을 양성 쌍으로 사용하는 자기지도 대비 학습 프레임워크를 제안하며, 증강은 배경 데이터 내에서 일반적인 이상 특징을 모방하도록 설계된다.
• 콜라이더 사건(예: 입자 제트 또는 물체)을 고차원 표현 공간으로 매핑하기 위해 순서에 불변인 Transformer 인코더를 사용하여 물체 순서 변경에 대해 불변성을 유지한다.
• 기존의 이벤트와 그 증강된 복제본 간의 거리를 좁히고, 다른 배경 이벤트들과는 멀어지도록 유도하는 새로운 대비 손실 함수를 정의한다.
• 원시 데이터에 대한 이상치 증강을 가짜 지도 신호로 활용하여 배경 데이터만으로 모델을 종합적으로 훈련함으로써 이상치에 민감한 표현을 학습한다.
• 학습된 표현에 사전 훈련된 자동인코더를 적용하여 이상치 스코어를 계산하며, 재구성 오차를 이상치 지표로 사용한다.
• 표현 차원과 자동인코더 아키텍처의 하이퍼파라미터 튜닝을 통해 표현 공간을 최적화하고, 다양한 신호 모델과 효율에서 성능을 평가한다.

Figure 2: Results of a scan on the anomaly-augmentations used with the $\mathcal{L}^{+}_{\text{AnomCLR}}$ loss function. The augmentations are defined in Section 4 . The dashed lines here correspond to the AutoEncoder on raw data baseline performance.

실험 결과

연구 질문

• RQ1 이상치가 추가된 데이터를 사용한 자기지도 대비 학습은 고에너지 물리학에서 밀도 기반 이상치 탐지 성능을 향상시키는가?
• RQ2 표현 차원의 선택이 다양한 신호 모델에서 이상치 탐지 정의도에 어떤 영향을 미치는가?
• RQ3 표준 데이터 증강 대비 이상치 증강을 사용할 경우 표현 학습의 안정성과 불변성은 어느 정도 향상되는가?
• RQ4 AnomalyCLR 프레임워크는 다양한 신호 모델에서 원시 데이터 기반 모델 대비 정의도 향상과 오차 감소를 달성하는가?
• RQ5 신호 유형에 따라 신호 전용 튜닝이나 진실 레이블 없이도 이론적으로 일반화 가능한가?

주요 결과

• AnomalyCLR는 CMS ADC2021 데이터셋의 네 가지 벤치마크 신호 전반에서 고정된 30%의 신호 효율에서 원시 데이터 기반 모델 대비 14–70%의 정의도 향상을 달성한다.
• 모든 신호에서 일관된 성능 향상이 나타나, 이 방법이 모델에 종속되지 않으며 다양한 이상적 구조에 대해 강건함을 입증한다.
• 표현 차원이 증가할수록 이상치 탐지 성능이 크게 향상되며, 대부분의 신호에서 120~200 차원 사이에서 최적화되며, h+ 신호는 400 차원까지도 계속 향상되는 경향을 보인다.
• 표현 차원이 증가할수록 정의도 향상의 상대 오차가 감소하여, 높은 차원에서 더 안정적이고 신뢰할 수 있는 성능을 보임을 시사한다.
• 이상치 증강을 사용할 경우 좌표계 재매개변수화에 대한 민감도가 감소하고, 더 불변적이며 구분력 있는 표현 공간을 얻을 수 있다.
• 표준 자동인코더 기반 모델 대비 원시 데이터에서의 성능이 뛰어나, 물리학적으로 유의미한 증강을 통한 자기지도 사전 훈련의 가치를 입증한다.

Figure 3: Results of a scan on the representation dimension used with the $\mathcal{L}^{+}_{\text{AnomCLR}}$ loss function. The dashed lines here correspond to the AutoEncoder on raw data baseline performance.