[논문 리뷰] Neural Network Prior Mean for Particle Accelerator Injector Tuning

Connie Xu, Ryan Roussel외 1명|arXiv (Cornell University)|2022. 11. 16.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 입자 가속기 주입기 조정을 위한 베이지안 최적화에서 신경망 서rogate 모델을 사전 평균으로 사용하는 것을 제안한다. 물리학에 기반한 빠르게 실행되는 신경망 사전 정보를 통합함으로써, 특히 서rogate 모델이 진정된 진실과 상관관계가 높을 경우 초기 최적화 수렴 속도가 향상된다. 조건이 잘 맞는 경우, 중간 정도의 정확도를 가진 서rogate 모델이라도 일정한 사전 정보보다 성능 향상을 보이며, 가장 정확한 모델은 진짜 서rogate 모델과 동등한 성능을 보인다.

ABSTRACT

Bayesian optimization has been shown to be a powerful tool for solving black box problems during online accelerator optimization. The major advantage of Bayesian based optimization techniques is the ability to include prior information about the problem to speed up optimization, even if that information is not perfectly correlated with experimental measurements. In parallel, neural network surrogate system models of accelerator facilities are increasingly being made available, but at present they are not widely used in online optimization. In this work, we demonstrate the use of an approximate neural network surrogate model as a prior mean for Gaussian processes used in Bayesian optimization in a realistic setting. We show that the initial performance of Bayesian optimization is improved by using neural network surrogate models, even when surrogate models make erroneous predictions. Finally, we quantify requirements on surrogate prediction accuracy to achieve optimization performance when solving problems in high dimensional input spaces.

연구 동기 및 목표

• 고차원의 가속기 조정에서 베이지안 최적화의 샘플 효율성을 향상시키기 위해 서rogate 모델을 통해 사전 물리 지식을 통합하는 것.
• 신경망 기반 서rogate 모델이 온라인 가속기 최적화를 위한 가우시안 프로세스의 효과적인 사전 평균 함수로 기능할 수 있는지 조사하는 것.
• 베이지안 최적화 성능 향상에 기여하기 위해 필요한 서rogate 모델의 정확도 수준을 정량화하는 것.
• 실제 가속기 조정 시나리오에서 고정된 신경망 사전 정보와 일정한 사전 평균 및 진짜 진실 사전 평균 간의 성능을 비교하는 것.
• 고차원 입력 공간에서 서rogate 모델의 복잡성과 최적화 수렴 속도 사이의 상충 관계를 평가하는 것.

제안 방법

• LCLS 주입기의 시뮬레이션 데이터를 기반으로 복잡도와 학습 데이터 밀도(3^9 대비 4^9 개 샘플)가 다른 두 개의 신경망 서rogate 모델을 훈련시켰다.
• 더 정확한 신경망을 가우시안 프로세스 모델의 사용자 정의 사전 평균 함수로 사용하여 베이지안 최적화를 수행했다.
• 표준 베이지안 최적화를 수정하여 각 단계에서 커널 하이퍼파rameter를 재학습하면서 신경망 사전 평균을 통합했다.
• 다음 평가 점을 선택하는 데 Upper Confidence Bound (UCB) 획득 함수를 사용했으며, β = 2.0과 β = 0.1을 각각 적용했다.
• 주입기 모델에서 세 개의 무작위 데이터 포인트로 최적화를 초기화하고 50회의 반복 동안 최대 목표 함수 값을 추적했다.
• 네 가지 사전 정보(일정 평균, 진짜 진실 서rogate 평균, 두 개의 신경망 사전 정보: Model1은 덜 정확하고 Model2는 더 정확함) 간의 최적화 성능을 비교했다.

실험 결과

연구 질문

• RQ1 신경망 서rogate 모델이 입자 가속기 조정을 위한 가우시안 프로세스의 베이지안 최적화에서 효과적인 사전 평균 함수로 기능할 수 있는가?
• RQ2 신경망 서rogate 모델의 정확도가 고차원 입력 공간에서의 베이지안 최적화 수렴 속도에 어떤 영향을 미치는가?
• RQ3 고정된 신경망 사전 정보를 사용하는 것이 일정한 사전 평균 함수보다 최적화 성능을 향상시키는가?
• RQ4 서rogate 모델의 정확도가 어느 정도일 때 최적화 성능이 진짜 진실 서rogate 모델에 가까워지는가?
• RQ5 모델 정확도 부족으로 인해 고정된 신경망 사전 정보의 성능이 시간이 지남에 따라 떨어지며, 이는 재학습을 통해 보완될 수 있는가?

주요 결과

• 더 정확한 신경망 사전 정보(Model2)는 50회의 최적화 반복 후 일정한 사전 정보와 덜 정확한 신경망 사전 정보(Model1)를 항상 앞섰다.
• Model1은 처음에는 일정한 사전 정보를 앞섰지만 약 30회 반복 이후 정체되어 결국 일정한 사전 정보에 뒤지게 되었으며, 이는 모델 정확도 부족으로 인한 성능 저하를 시사한다.
• Model2의 최적화 성능는 진짜 진실 서rogate 평균과 유사했으며, 잘 훈련된 신경망 사전 정보가 진짜 사전 정보를 거의 정확하게 근사할 수 있음을 보여준다.
• 결과는 중간 정도의 정확도를 가진 서rogate 모델(진실과 높은 상관관계)이라도 초기 최적화 속도와 수렴 속도 향상에 크게 기여할 수 있음을 보여준다.
• 연구는 고정된 사전 평균, 즉 정확도가 떨어지는 경우에도 시간이 지남에 따라 성능 저하가 발생할 수 있음을 확인했으며, 이는 장기간 최적화에서 재학습 또는 적응형 사전 정보의 필요성을 시사한다.
• 결과는 특히 실험 또는 시뮬레이션 기반 진실과 상관관계가 높은 경우, 신경망 서rogate 모델을 베이지안 최적화에서 효과적인 사전 평균으로 사용하는 것이 타당하다고 지지한다.