[논문 리뷰] Exploring Parameter Spaces with Artificial Intelligence and Machine Learning Black-Box Optimisation Algorithms

Fernando Abreu de Souza, Miguel Crispim Romão외 3명|arXiv (Cornell University)|2022. 06. 18.

Dark Matter and Cosmic Phenomena인용 수 4

한 줄 요약

이 논문은 물리적 관측량의 복합 비용 함수를 최소화함으로써 고차원의 표준모형을 초월한(BSM) 매개변수 공간, 예를 들어 cMSSM와 pMSSM를 효율적으로 탐색하기 위해 AI/ML 알고리즘—CMA-ES, TPE, NSGA-II를 사용하는 블랙박스 최적화 프레임워크를 제안한다. 랜덤 샘플링 대비 수개의 순서수준 향상된 샘플링 효율성을 달성하면서도 합리적인 커버리지 유지를 유지하며, 특히 제약 조건이 강한 영역에서는 CMA-ES가 거의 1에 가까운 효율성을 보였다.

ABSTRACT

Constraining Beyond the Standard Model theories usually involves scanning highly multi-dimensional parameter spaces and check observable predictions against experimental bounds and theoretical constraints. Such task is often timely and computationally expensive, especially when the model is severely constrained and thus leading to very low random sampling efficiency. In this work we tackled this challenge using Artificial Intelligence and Machine Learning search algorithms used for Black-Box optimisation problems. Using the cMSSM and the pMSSM parameter spaces, we consider both the Higgs mass and the Dark Matter Relic Density constraints to study their sampling efficiency and parameter space coverage. We find our methodology to produce orders of magnitude improvement of sampling efficiency whilst reasonably covering the parameter space.

연구 동기 및 목표

• 표준모형을 초월한(MSSM 포함) 고차원적이고 강하게 제약된 BSM 매개변수 공간 스캔에서 발생하는 계산적 병목 현상을 해결하기 위해, 낮은 수용률로 인해 랜덤 샘플링이 비효율적인 상황을 대비한다.
• 기존의 ML 방법들이 훈련을 위해 대규모 사전 데이터셋이 필요하나, 이는 초기 단계의 BSM 모델 탐색에서는 흔히 확보되지 않는 점을 극복하기 위함이다.
• BSM 매개변수 공간 스캔을 사전 지식이 없는 데이터 효율적이고 동적 탐색이 가능한 블랙박스 최적화 문제로 재정의함으로써, 유효 영역에 대한 사전 지식이 없어도 탐색이 가능하도록 한다.
• CMA-ES, TPE, NSGA-II 등의 다양한 AI/ML 최적화 알고리즘의 샘플링 효율성 및 커버리지 측면에서의 성능을 평가하고 비교한다.
• 이 프레임워크가 표준모형을 초월한 어떤 BSM 모델에도 일반화 가능하며, 기반 물리 이론이나 프로그래밍 언어에 관계없이 임의의 계산 루틴과 제약 조건을 수용할 수 있음을 입증한다.

제안 방법

• 이론적 및 실험적 제약 조건(예: 힉스 질량 및 다크 물질 잔류 밀도)을 조합한 비용 함수를 정의함으로써 BSM 매개변수 공간 제약 문제를 블랙박스 최적화 과제로 재구성한다.
• 세 가지 AI/ML 기반 최적화 알고리즘—CMA-ES(공분산 행렬 적응 진화 전략), TPE(트리 기반 파르젠 추정기), NSGA-II(비지배 정렬 유전 알고리즘 II)를 사용하여 매개변수 공간을 탐색한다.
• 각 알고리즘은 비용 함수의 피드백에 기반해 반복적으로 새로운 매개변수 점을 생성하며, 이는 물리 계산기(예: MSSM의 경우 SARAH)를 사용해 평가되며, 기울기 정보가 필요하지 않다.
• 샘플링의 복잡도를 증가시키기 위해 단일 제약 조건(Higgs 질량)과 다중 제약 조건(Higgs + 다크 물질) 시나리오를 모두 포함하여, 복잡성 증가에 대한 강건성과 효율성을 시험한다.
• 샘플링 효율성(평가당 발견된 유효 점의 비율)과 커버리지(탐색된 유효 영역의 비율)를 측정하여, 기준선으로 랜덤 샘플링과 비교한다.
• GitLab에 공개된 모듈식이고 재사용 가능한 코드베이스로 프레임워크를 구현하여, 임의의 BSM 계산 파이프라인과 제약 조건 세트에의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 블랙박스 최적화 알고리즘이 고차원적이고 강하게 제약된 BSM 매개변수 공간에서 랜덤 샘플링 대비 샘플링 효율성을 크게 향상시킬 수 있는가?
• RQ2 CMA-ES, TPE, NSGA-II 등의 다양한 AI/ML 최적화 전략은 BSM 모델 스캔에서 탐색과 이용의 균형을 어떻게 유지하며, 어떤 상호 보완적 특징을 보이는가?
• RQ3 이 알고리즘들이 유효한 매개변수 영역에 대한 사전 지식 없이 작동할 수 있는 정도는 어느 정도이며, 대규모 사전 훈련 데이터셋이 필요하지 않은가?
• RQ4 다양한 제약 조건(예: 힉스 질량 및 다크 물질 잔류 밀도)의 포함이 최적화 알고리즘의 성능과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 MSSM 외의 다른 BSM 모델과 계산 파이프라인에도 일반화 가능할 수 있는가? 이는 기반 물리 이론이나 실행 언어에 관계없이 가능할까?

주요 결과

• 제안된 블랙박스 최적화 프레임워크는 랜덤 샘플링 대비 고차원적이고 강하게 제약된 매개변수 공간에서 수개의 순서수준 향상된 샘플링 효율성을 달성한다.
• CMA-ES는 제약 조건이 강한 상황에서 거의 1에 가까운 샘플링 효율성을 달성하며, 적응적이고 탐욕적인 탐색 전략 덕분에 유효 영역으로의 수렴 속도가 매우 빠르다.
• NSGA-II는 탐색과 이용의 균형 잡힌 전략을 제공하며 고차원 공간에서도 효과적으로 작동하여 차원의 극복 문제에 대한 강건성을 보였다.
• TPE는 효율성 측면에선 랜덤 샘플링과 유사하지만, 수렴이 이루어지면 더 나은 커버리지를 제공한다. 그러나 초기 수렴 실패 시 유효 점을 찾는 데 어려움을 겪는다.
• 이 프레임워크는 가능성 함수가 필요 없이도 실험적 제약 조건(예: 힉스 질량)과 이론적 한계(예: 다크 물질 잔류 밀도)를 모두 효과적으로 처리할 수 있어 적용 범위가 넓어진다.
• 이 방법론은 일반 목적의 것으로, cMSSM과 pMSSM에 대한 최소한의 수정만으로도 임의의 BSM 모델과 계산 루틴, 제약 조건 세트에 적용 가능함을 입증하였다.