[논문 리뷰] Machine learning for design optimization of storage ring nonlinear dynamics

Faya Wang, Minghao Song외 2명|arXiv (Cornell University)|2019. 10. 31.

Structural Health Monitoring Techniques참고 문헌 1인용 수 5

한 줄 요약

이 논문은 저장 고리 내 비선형 빔 역학의 다중목표 최적화를 가속화하기 위해 다중 세대 신경망 서rogate 모델을 제안한다. 새로 평가된 해를 기반으로 반복적으로 훈련하고 업데이트하는 딥 뉴럴 네트워크를 통해, 이 방법은 2,000회 시뮬레이션 내에 파레토 최적 해에 수렴하며, NSGA-II 및 입자 군집 최적화와 비교해 유사한 결과를 얻기 위해 10,000회 평가가 필요한 것과 비교해 훨씬 빠르다. SPEAR3 격자에서의 실험 결과를 바탕으로 한 것이다.

ABSTRACT

A novel approach to expedite design optimization of nonlinear beam dynamics in storage rings is proposed and demonstrated in this study. At each iteration, a neural network surrogate model is used to suggest new trial solutions in a multi-objective optimization task. The surrogate model is then updated with the new solutions, and this process is repeated until the final optimized solution is obtained. We apply this approach to optimize the nonlinear beam dynamics of the SPEAR3 storage ring, where sextupole knobs are adjusted to simultaneously improve the dynamic aperture and the momentum aperture. The approach is shown to converge to the Pareto front considerably faster than the genetic and particle swarm algorithms.

연구 동기 및 목표

• 멀티파티클 트래킹을 사용한 시뮬레이션에서 빔 역학 평가에 소요되는 높은 계산 비용을 해결하기 위해.
• 가속기 물리학에서 흔한 고차원 비선형 매개변수 공간에서의 다중목표 최적화 효율성을 향상시키기 위해.
• 다이내믹 어파지처와 동량 어파지처를 동시에 최대화하는 세그스터플 콤파라임 설정을 찾기 위해 필요한 고비용 물리 시뮬레이션 횟수를 줄이기 위해.
• 반복적이고 앙상블 기반의 신경망 서rogate 모델링이 기존의 확률적 알고리즘인 NSGA-II 및 입자 군집 최적화보다 뛰어난 성능을 보일 수 있음을 보여주기 위해.

제안 방법

• 다이내믹 어파지처와 동량 어파지처를 세그스터플 콤파라임 설정에서 예측하기 위해, 다섯 개의 완전히 연결된 레이어와 리 leaky ReLU 활성화 함수를 갖는 딥 피드포워드 신경망을 훈련한다.
• 20개의 신경망으로 구성된 앙상블을 사용하며, 각 네트워크는 무작위로 샘플된 리 leaky ReLU 기울기를 갖는다. 예측값은 평균을 내어 정확도를 향상시키고 과적합을 줄인다.
• 최적화는 반복적으로 진행된다: 현재 서rogate 모델에서 NSGA-II를 사용해 파레토 최적 해를 생성하고, 이러한 점들을 기반으로 매개변수 공간에서 새로운 후보 해를 샘플링한다.
• 매번 새로운 평가된 해의 배치로 서rogate 모델을 재훈련하여 점차 정확도를 향상시키고, 고성능 영역으로 탐색을 집중시킨다.
• 이 방법은 100~1,000개의 초기 해로 시작하여, 여러 세대에 걸쳐 모델을 반복적으로 업데이트하며 총 필요 시뮬레이션 횟수를 줄인다.
• 이 방법은 SPEAR3 저장 고리 격자에서 검증되었으며, 다이내믹 어파지처와 동량 어파지처를 동시에 최대화하도록 세그스터플 콤파라임 설정을 최적화한다.

실험 결과

연구 질문

• RQ1 신규 시뮬레이션 결과를 반복적으로 훈련한 신경망 서rogate 모델이 저장 고리 내 비선형 역학 최적화에서 파레토 최적 해 수렴을 가속화할 수 있는가?
• RQ2 반복적 서rogate 기반 최적화의 성능은 NSGA-II 및 입자 군집 최적화와 같은 기존의 확률적 알고리즘과 비교해 시뮬레이션 효율성 측면에서 어떻게 다른가?
• RQ3 초기 인구 크기와 모델 앙상블 크기가 고차원 비선형 최적화에서 수렴 속도와 해 품질에 미치는 영향은 무엇인가?
• RQ4 서rogate 모델이 세그스터플 콤파라임 설정과 빔 역학 성능 지표 간의 복잡한 비선형 관계를 효과적으로 포착할 수 있는가?

주요 결과

• 신경망 서rogate 방법은 단지 2,000회 시뮬레이션 평가로 다이내믹 어파지처 약 12.5 mm, 동량 어파지처 2.5%의 파레토 최적 해에 수렴했다.
• 인구 크기를 1,000으로 설정했을 때, 이 방법은 두 번째 세대에 최적 성능에 도달했으며, NSGA-II 및 입자 군집 최적화보다 더 적은 평가 횟수로 뛰어난 성능을 보였다.
• 200의 더 작은 인구를 사용했을 경우, 10세대(총 2,200회 평가)가 걸렸지만, 여전히 NSGA-II 및 PSO가 10,000회 평가가 필요한 최종 해를 뛰어넘었다.
• 신경망 접근법의 최종 해는 다이내믹 어파지처가 더 큰 영역으로 확장된 것을 보였으며, 약간의 동량 어파지처 희생을 감수한 것으로, 더 나은 탐색 잠재력을 시사한다.
• 앙상블 신경망 접근법은 단일 모델 대비 더 높은 신뢰성과 예측 분산 감소를 보이며 최적화의 안정성을 향상시켰다.
• 물리적 시뮬레이션 대비 신경망 훈련의 계산 비용은 무시할 수 있을 정도로 낮아, 전체적으로 매우 효율적인 방법임을 입증했다.