[논문 리뷰] Adversarial domain adaptation to reduce sample bias of a high energy physics classifier

Jose M. Clavijo, P. C. F. Glaysher외 1명|arXiv (Cornell University)|2020. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 6인용 수 4

한 줄 요약

이 논문은 고에너지 물리학에서의 이벤트 분류에 있어 표본 편향을 줄이기 위해 기울기 반전층을 갖춘 도메인 적대 신경망(DANN)을 제안한다. 특히 CERN의 LHC에서 발생하는 희귀한 $t\bar{t}H$ (H→bb) 신호에 초점을 맞추고 있다. 두 개의 몬테카를로 배경 모델 간의 도메인 차이를 적대적으로 최소화하면서 공유 특징 추출기로 신호 대 배경을 동시에 분류하도록 공동 학습함으로써, 배경 시뮬레이션 선택에 의한 모델 편향을 감소시킨다. 그 결과, 50%의 신호 효율에서 신호 순도의 불확도를 47%에서 0.3%로 감소시켰다.

ABSTRACT

We apply adversarial domain adaptation to reduce sample bias in a classification machine learning algorithm. We add a gradient reversal layer to a neural network to simultaneously classify signal versus background events, while minimising the difference of the classifier response to a background sample using an alternative MC model. We show this on the example of simulated events at the LHC with $t\bar{t}H$ signal versus $t\bar{t}b\bar{b}$ background classification.

연구 동기 및 목표

• 특정 몬테카를로(MC) 배경 시뮬레이션에 의존함으로써 고에너지 물리학 분류기에서 발생하는 심각한 편향을 해결하기 위해.
• 한 MC 배경 모델에서 학습된 모델을 다른 실제 또는 다른 MC 배경 모델에 적용할 때 분류기 성능 저하를 줄이기 위해.
• 분류 성능을 유지하면서 원천 배경 모델에 대한 의존도를 최소화하는 도메인 적응 방법을 개발하기 위해.
• 라벨이 부여된 타겟 데이터에 의존하지 않고도 실 충돌 데이터에 대해 비지도 적응을 가능하게 하기 위해.
• 복잡하고 고차원적인 물리 데이터에 대한 적대적 도메인 적응에서의 하이퍼파rameter 민감도와 학습 안정성에 대해 조사하기 위해.

제안 방법

• 공유 특징 추출기와 두 개의 별도 브랜치를 갖춘 딥 신경망을 사용: 하나는 신호/배경 분류를 위한 것이고, 다른 하나는 도메인 분류(배경 모델)를 위한 것이다.
• 특징 추출기와 도메인 분류기 사이에 기울기 반전층을 도입하여 역전파되는 기울기를 반전시켜, 도메인 불변 표현을 유도한다.
• 두 개의 서로 다른 MC 배경 모델(원천 도메인)에서 레이블이 부여된 신호/배경 이벤트를 지도 학습 방식으로 학습하면서, 적대적 손실을 통해 도메인 분류기의 정확도를 최소화한다.
• 라벨이 부여된 타겟 데이터가 필요 없는 절차를 사용하여 하이퍼파rameter, 특히 기울기 반전 가중치 $\lambda$를 최적화한다.
• 학습 안정성과 수렴성을 향상시키기 위해 도메인 분류기의 활성화 및 손실 함수로 선형 함수를 사용한다.
• 다양한 신호 효율에서 물리적으로 의미 있는 지표인 신호 순도, 중앙값의 통계적 유의도, ROC 곡선 아래 면적 등을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 적대적 도메인 적응이 고에너지 물리학에서 MC 배경 모델 간의 차이로 인한 분류기 편향을 효과적으로 줄일 수 있는가?
• RQ2 특히 기울기 반전 가중치 $\lambda$와 같은 하이퍼파rameter의 선택이 분류 성능와 도메인 불변성 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 라벨이 부여된 타겟 데이터가 없을 때, 도메인 불변성을 달성하면서도 분류 성능을 얼마나 잘 유지할 수 있는가?
• RQ4 기울기 반전층이 유도하는 주요 학습 안정성 문제들은 무엇이며, 어떻게 이를 완화할 수 있는가?
• RQ5 신호 대 배경 비율이 다를 수 있는 소스 및 타겟 도메인 간의 레이블 분포 이동을 다룰 수 있는가?

주요 결과

• 이 방법은 50%의 신호 효율에서 배경 모델 선택에 의한 신호 순도 불확도를 47%에서 0.3%로 크게 감소시켜 분석 감도를 크게 향상시켰다.
• 도메인 적응을 통해 학습된 분류기는 학습 시 사용된 배경 모델에 거의 의존하지 않으면서도 타겟 도메인에서 높은 분류 성능를 유지한다.
• 도메인 분류기의 활성화 및 손실 함수로 선형 함수를 사용함으로써, 비선형 대안 대비 학습 안정성과 수렴성이 크게 향상됨을 확인했다.
• 기울기 반전층은 학습 불안정성을 유도하지만, 철저한 하이퍼파rameter 튜닝과 도메인 헤드에서 선형 구성 요소의 사용을 통해 이를 완화할 수 있었다.
• 실제 데이터에서의 신호 대 배경 비율에 대한 정확한 추정치가 없을 경우, 레이블 분포 이동으로 인해 분류에 약간의 잔여 편향이 발생할 수 있으며, 이는 실세계 적용에 있어 핵심적인 제한 요소임을 시사한다.
• 현재 방법은 비지도 적응을 위해 실데이터에서의 정확한 신호 대 배경 비율 추정치에 의존한다; 향후 연구에서는 추가적인 적대적 브랜치를 통해 도메인 분류기에서 레이블 정보를 제거함으로써 레이블 이동 문제를 해결할 수 있을 것이다.