[논문 리뷰] Adversarial domain adaptation to reduce sample bias of a high energy physics event classifier

Jose M. Clavijo, P. C. F. Glaysher외 2명|arXiv (Cornell University)|2021. 01. 01.

Particle physics theoretical and experimental studies인용 수 3

한 줄 요약

이 논문은 고에너지 물리학에서의 이벤트 분류에 있어 표본 편향을 줄이기 위해 기울기 반전층을 갖춘 도메인 적대 신경망(DANN)을 제안한다. 특히 CERN의 LHC에서의 희귀 $t\bar{t}H$ (H→bb) 신호에 초점을 맞추고 있다. 신호 대 배경을 분류하는 분류기와 배경 모델에 따라 도메인을 식별하는 도메인 판별기를 함께 훈련시켜 도메인 특성의 영향을 최소화함으로써 배경 모델 의존도를 감소시키며, 신호 순도의 불확실성을 50%의 효율에서 47%에서 0.3%로 줄였다.

ABSTRACT

We apply adversarial domain adaptation in unsupervised setting to reduce sample bias in a supervised high energy physics events classifier training. We make use of a neural network containing event and domain classifier with a gradient reversal layer to simultaneously enable signal versus background events classification on the one hand, while on the other hand minimizing the difference in response of the network to background samples originating from different Monte Carlo models via adversarial domain classification loss. We show the successful bias removal on the example of simulated events at the Large Hadron Collider with signal versus background classification and discuss implications and limitations of the method.

연구 동기 및 목표

• 몬테카를로 시뮬레이션을 기반으로 훈련된 고에너지 물리학 분류기에서 배경 모델의 차이로 인한 표본 편향 문제를 해결한다.
• 훈련 시 사용된 특정 배경 모델에 대한 분류기의 의존도를 줄여 측정 시 큰 불확실성을 초래하는 것을 방지한다.
• 라벨이 부여된 타겟 데이터가 필요 없이 실제 충돌 데이터에 대한 비지도 도메인 적응을 가능하게 한다.
• 복잡하고 고차원적인 물리학 데이터에 대한 적대적 도메인 적응에서 하이퍼파rameter와 훈련 안정성의 영향을 조사한다.
• 도메인 불변 표현을 유지하면서도 실제 LHC 물리학 응용 사례에서 분류 성능을 유지할 수 있음을 입증한다.

제안 방법

• 공유된 특징 추출기와 두 개의 별도 브랜치를 갖춘 딥 신경망을 구현한다. 하나는 신호/배경 분류를 위한 것이고, 다른 하나는 배경 모델을 식별하기 위한 도메인 분류를 위한 것이다.
• 특징 추출기와 도메인 분류기 사이에 기울기 반전층(GRL)을 통합하여 역전파 시 기울기를 반전시켜, 특징 추출기가 도메인 불변 표현을 학습하도록 유도한다.
• 라벨이 부여된 소스 데이터(시뮬레이션 이벤트)와 라벨이 없는 타겟 데이터(다른 MC 배경 모델)를 사용하여 종합적인 손실 함수를 통해 분류 및 도메인 적응을 동시에 최적화하는 엔드 투 엔드 훈련 방식을 적용한다.
• 도메인 분류기의 활성화 및 손실 함수로 선형 함수를 사용하여 훈련의 안정성과 수렴성을 향상시킨다.
• 라벨이 부여된 타겟 데이터가 필요 없는 절차를 통해 도메인 분류기의 영향을 조절하는 하이퍼파ram터 $\lambda$를 최적화한다.
• 신호 순도, 중앙값의 통계적의미, ROC 곡선 아래 면적 등의 물리학적으로 의미 있는 지표를 사용하여, 적응된 모델과 비적응 모델 간의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 적대적 도메인 적응이 고에너지 물리학 이벤트 분류에서 몬테카를로 배경 모델의 차이로 인한 분류기 편향을 효과적으로 줄일 수 있는가?
• RQ2 특히 $\lambda$와 같은 하이퍼파ram터의 선택이 도메인 적대적 훈련 과정의 성능와 안정성에 어떤 영향을 미치는가?
• RQ3 라벨이 부여된 타겟 데이터가 없이도 고차원적인 물리 기반 제트 특성에서 도메인 불변 특징을 얼마나 잘 학습할 수 있는가?
• RQ4 실제 데이터의 신호 대 배경 비율을 정확히 추정할 수 없을 경우, 라벨 분포 이동(예: 소스와 타겟 도메인 간의 다른 신호 대 배경 비율)이 비지도 도메인 적응의 성공에 어떤 영향을 미치는가?
• RQ5 이 방법을 동시에 여러 개의 대체 배경 모델이나 다른 불확실성 원인을 한 번의 훈련 설정에서 다룰 수 있도록 확장할 수 있는가?

주요 결과

• 제안된 도메인 적대 신경망은 50%의 신호 효율에서 배경 모델 선택에 의한 신호 순도의 불확실성을 47%에서 0.3%로 크게 감소시켜 측정 감도를 크게 향상시켰다.
• 도메인 적응 후에도 원래의 분류 성능의 대부분을 유지하였으며, ROC 곡선 아래 면적(AUC ≈ 0.95)이 여전히 높게 유지되었다.
• 비선형 활성화 함수 대비 선형 활성화 및 손실 함수를 도메인 분류기에서 사용할 경우 훈련의 안정성과 수렴성이 크게 향상되었다.
• 실제 데이터의 신호 대 배경 비율을 충분히 추정하지 못할 경우, 라벨 분포 이동로 인해 분류에 약간의 잔여 편향이 발생할 수 있으며, 이는 주요 한계점을 보여준다.
• 다양한 도메인으로의 확장 가능성은 보여주지만, 동시에 데이터 및 라벨 분포 이동을 다루는 것은 여전히 열려 있는 도전 과제이다.
• 이 경우, 데이터 및 라벨 분포 이동을 동시에 적응시키기 위한 의사 라벨링 접근법은 부족한 것으로 나타났으며, 이는 실제 충돌 데이터에 대한 비지도 적응을 완전히 실현하기 위해 더 고도의 아키텍처가 필요함을 시사한다.