[논문 리뷰] Enhanced Higgs to $τ^+τ^-$ Searches with Deep Learning

Pierre Baldi, Peter Sadowski외 1명|arXiv (Cornell University)|2014. 10. 13.

Algorithms and Data Compression인용 수 3

한 줄 요약

이 논문은 LHC에서 힉스 보손이 타우 렙톤으로 붕괴하는 것을 탐색하기 위해 딥 뉴럴 네트워크와 베이지안 초매개변수 최적화를 조합하는 방법을 제안한다. 저수준 검출기 변수에서 복잡한 특징을 자동으로 학습함으로써, 발견의 통계적 유의성은 25% 향상되었으며, 이는 추가적인 데이터 수집 없이 데이터셋 크기를 25% 증가시킨 것과 동일한 효과이다.

ABSTRACT

The Higgs boson is thought to provide the interaction that imparts mass to the fundamental fermions, but while measurements at the Large Hadron Collider (LHC) are consistent with this hypothesis, current analysis techniques lack the statistical power to cross the traditional 5$σ$ significance barrier without more data. \emph{Deep learning} techniques have the potential to increase the statistical power of this analysis by \emph{automatically} learning complex, high-level data representations. In this work, deep neural networks are used to detect the decay of the Higgs to a pair of tau leptons. A Bayesian optimization algorithm is used to tune the network architecture and training algorithm hyperparameters, resulting in a deep network of eight non-linear processing layers that improves upon the performance of shallow classifiers even without the use of features specifically engineered by physicists for this application. The improvement in discovery significance is equivalent to an increase in the accumulated dataset of 25\%.

연구 동기 및 목표

• 현재 5σ 발견 임계치에 못 미치는 타우 렙톤으로의 힉스 보손 붕괴 탐색의 통계적 검정력을 향상시키기 위해.
• 고에너지 물리학에서 전통적인 얕은 머신 러닝 모델의 한계를 극복하기 위해 딥 뉴럴 네트워크를 활용하기 위해.
• 분류 성능을 최대화하기 위해 베이지안 최적화를 사용해 딥 네트워크의 초매개변수를 체계적으로 최적화하기 위해.
• 저수준 검출기 변수에서 학습한 딥 네트워크가 물리학자들이 수작업으로 설계한 고수준 특징에서 학습한 얕은 네트워크보다 우수하거나 동등한 성능을 낼 수 있는지 평가하기 위해.
• 딥 러닝이 물리학자들이 수작업으로 유도한 특징과 동일한 분류적 패턴을 자동으로 학습할 수 있는지 확인하기 위해.

제안 방법

• 8개의 비선형 은닉층을 가진 딥 뉴럴 네트워크를 미니배치 크기 100개의 예제를 사용한 확률적 경사 하강법 및 적응형 운동량을 사용해 훈련시켰다.
• 6개의 초매개변수(층 수, 은닉 유닛 수, 학습률 감쇠, 초기 및 최종 운동량, 운동량 포화에 도달하는 에포크 수)를 최적화하기 위해 가우시안 프로세스 모델을 사용한 베이지안 최적화를 사용했다.
• 훈련 데이터는 8000만 개의 시뮬레이션 사건으로 구성되었으며, 비대칭도가 1.0 초과인 특징에 대해 비대칭도 보정이 적용된 로그 변환을 적용했다.
• 은닉층에서는 ReLU(Rectified Linear Units)를 사용했고, 출력층은 로지스틱 활성화 함수를 사용했으며, 신호(H→τ⁺τ⁻) 대 배경(Z→τ⁺τ⁻)의 이진 분류를 위해 교차 엔트로피 손실을 사용했다.
• 저수준 변수에서 학습한 딥 네트워크와 물리학자들이 수작업으로 설계한 고수준 특징에서 학습한 얕은 네트워크를 비교했다.
• 계산은 GPU 가속 하드웨어에서 Pylearn2와 Theano를 사용했으며, 베이지안 최적화에는 Spearmint를 사용했다.

실험 결과

연구 질문

• RQ1 저수준 검출기 변수에서 학습한 딥 네트워크가 고수준의 물리학자에 의해 설계된 특징에서 학습한 얕은 네트워크보다 H→τ⁺τ⁻ 탐색에서 성능이 뛰어나거나 동등한가?
• RQ2 초매개변수의 베이지안 최적화가 힉스 보손 붕괴의 발견 유의성 향상에 뚜렷한 개선을 이끌 수 있는가?
• RQ3 이 고에너지 물리학 분류 과제에서 최적의 딥 네트워크 깊이와 아키텍처는 무엇인가?
• RQ4 딥 네트워크가 수작업으로 유도된 특징에 포함된 분류 정보를 어느 정도 자동으로 학습할 수 있는가?
• RQ5 드롭아웃이나 노이즈 주입과 같은 정규화 기법이 이 높은 데이터 규모 환경에서 성능 향상에 기여하는가?

주요 결과

• 최고의 성능을 보인 딥 네트워크는 8개의 은닉층을 가지며, 각 층에 274개의 유닛을 사용했으며, 이로 인해 데이터셋 크기를 25% 증가시킨 것과 동일한 수준의 발견 유의성 향상을 달성했다.
• 저수준 변수에서 학습한 딥 네트워크가 고수준 특징에서 학습한 얕은 네트워크를 능가했으며, 이는 관련된 분류적 패턴을 자동으로 학습했음을 시사한다.
• 베이지안 최적화 알고리즘이 8층을 최적의 층 수로 선택했으며, 이는 최고 성능을 내기 위해 더 깊은 아키텍처가 필요했음을 나타낸다.
• 최고의 얕은 네트워크는 693개 유닛을 가진 단일 은닉층을 사용했으며, 초기 학습률은 0.006, 일정한 운동량은 0.5였다.
• 드롭아웃이나 노이즈 주입과 같은 정규화 기법은 성능 향상에 기여하지 않았으며, 이는 훈련 데이터셋의 크기가 매우 크기 때문에 과적합 위험이 낮아졌기 때문일 것이다.
• 발견 유의성 향상은 25%의 데이터 증가와 동일한 효과로 측정되었으며, 분석의 효율성 향상이 뚜렷하게 입증되었다.