[논문 리뷰] Anomaly Awareness

Charanjit K. Khosa, Verónica Sanz|arXiv (Cornell University)|2020. 07. 20.

Particle physics theoretical and experimental studies인용 수 14

한 줄 요약

이 논문은 정상 데이터로 분류기를 훈련하면서도 손실 함수에 다양한 이상 현상을 명시적으로 통합함으로써 이상 탐지 성능을 향상시키는 하이브리드 기계학습 방법인 이상 인식(Anomaly Awareness)을 소개한다. 이 방법은 입자물리학 및 컴퓨터 비전 작업에서 이전에 볼 수 없었던 이상 현상에 대해 강건성을 향상시키며, LHC 제트 구조 및 MNIST 기반 벤치마크에서 이상 유형에 대한 사전 지식을 최소화하고도 뛰어난 성능을 보여준다.

ABSTRACT

We present a new algorithm for anomaly detection called Anomaly Awareness. The algorithm learns about normal events while being made aware of the anomalies through a modification of the cost function. We show how this method works in different Particle Physics situations and in standard Computer Vision tasks. For example, we apply the method to images from a Fat Jet topology generated by Standard Model Top and QCD events, and test it against an array of new physics scenarios, including Higgs production with EFT effects and resonances decaying into two, three or four subjets. We find that the algorithm is effective identifying anomalies not seen before, and becomes robust as we make it aware of a varied-enough set of anomalies.

연구 동기 및 목표

• 기존의 감독 및 비감독 이상 탐지 기법이 고에너지 물리학에서 알려진 이상 현상은 일반화되지만 새로운 현상에는 적용되지 않는 한계를 해결하기 위해.
• 모델에 종속되지 않는 하이브리드 학습 프레임워크를 개발하여 감독 및 비감독 학습의 장점을 융합함으로써 알려지지 않은 이상 현상을 탐지하는 능력을 향상시키기 위해.
• LHC 탐색에서 특정 새로운 물리 현상에 대한 사전 가정에 의존도를 줄이고, 더 강건하고 모델에 종속되지 않는 이상 탐지 기법을 가능하게 하기 위해.
• LHC 제트 구조 및 표준 컴퓨터 비전 벤치마크(예: MNIST)를 포함한 다양한 분야에서 방법의 유효성을 검증하기 위해.
• 훈련 과정에서 다양한 이상 현상에 대한 인식이 있음에 따라 새로운 이상 현상 탐지 능력이 향상되고 일반화 성능이 향상됨을 입증하기 위해.

제안 방법

• 모델은 정상 이벤트만을 사용하여 사전 이진 분류 훈련을 수행하며, 신경망을 통해 두 개의 정상 과정(예: 표준모형의 톰과 QCD 제트)을 구분하도록 훈련한다.
• 다음으로 '이상 인식' 훈련 단계에서, 정상 및 이상 이벤트를 모두 포함한 수정된 손실 함수를 사용하여 모델을 미세 조정하며, 이때 이상 예제의 영향력을 조절하는 하이퍼파rameter λAA 가 사용된다.
• 손실 함수는 이상 이벤트의 잘못된 분류에 더 큰 페널티를 가하여, 이상 점수를 정상 클래스 경계에서 멀리 이동시키고 잠재 공간 내에서 별도의 영역으로 분리하도록 유도한다.
• 모델 아키텍처는 입력 유형에 맞게 조정되며, 제트 이미지에는 컨볼루션 신경망(CNN)을, 힉스 보손 붕괴 시나리오의 운동량 특징 벡터에는 완전 연결 네트워크를 사용한다.
• 분류기의 출력 확률 분포를 이상 점수의 대체 지표로 사용하며, 정상 클래스의 신뢰도에서 벗어나거나 불확실성이 높을수록 잠재적인 이상 현상으로 간주한다.
• 모델의 일반화 능력을 평가하기 위해 LHC 기반 시뮬레이션(LHC의 두꺼운 제트 구조, 힉스 + 광자 + 제트)과 표준 벤치마크(MNIST, CIFAR-10, fMNIST)를 모두 활용하여 다양한 도메인에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 정상 이벤트로만 훈련된 기계학습 모델이 훈련 과정에서 다양한 이상 유형에 대해 명시적인 인식을 가질 경우, 이전에 볼 수 없었던 이상 현상을 탐지하는 데 강건해지는가?
• RQ2 훈련 과정에 여러 가지 이상 유형을 포함시키는 것이 새로운 이상 현상을 탐지하는 데 있어 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 Anomaly Awareness 방법은 LHC에서의 모델에 종속되지 않는 탐색에서 표준 감독 및 비감독 이상 탐지 기법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 이 방법은 MNIST 및 CIFAR-10과 같은 비물리적 데이터셋에 적용되어도 효과를 유지하는가? 이는 다양한 도메인 간의 이식성(transferability)을 입증하는가?
• RQ5 하이퍼파rameter λAA 는 다양한 시나리오에서 모델의 감도 및 강건성에 어떤 영향을 미치는가?

주요 결과

• Anomaly Awareness 알고리즘은 새로운 물리 현상 시나리오에서 유도된 두꺼운 제트 구조(예: EFT 효과가 있는 힉스 생성, 2~4개의 서브제트로 붕괴하는 공진 상태)에서 이상 현상을 성공적으로 식별하며, 기준 모델을 능가하는 성능을 보였다.
• 단일 이상 유형(예: ZH 생성)으로 훈련한 경우, 이상 점수 분포에 명백한 이동이 관찰되어 탐지 능력 향상이 확인되었다.
• 두 가지 이상 유형 이상(예: ZH, 아키온, 거품)을 포함시킬 경우 더욱 강건한 성능을 보였으며, 이상의 기원에 대해 덜 민감해지는 경향을 보였다.
• 비물리적 데이터셋에 대해서도 효과적으로 일반화되었으며, 두 개의 MNIST 숫자로 훈련한 경우, CIFAR-10, fMNIST, nMNIST를 이상으로 성공적으로 탐지하였다.
• 훈련 시 사용된 이상 유형의 다양성이 증가할수록 알고리즘의 성능이 향상되었으며, 이는 '다양한 이상 현상에 대한 인식'이 더 강한 일반화 능력을 이끌어낸다는 것을 확인한다.
• 이 방법은 이상의 구조에 대한 사전 지식 없이도 효과적인 이상 탐지를 가능하게 하여, 고에너지 물리학에서의 모델에 종속되지 않는 탐색에 적합하다.