[논문 리뷰] Learning to Do or Learning While Doing: Reinforcement Learning and Bayesian Optimisation for Online Continuous Tuning

Jan Kaiser, Chenran Xu외 10명|arXiv (Cornell University)|2023. 06. 06.

Reservoir Engineering and Simulation Methods인용 수 5

한 줄 요약

이 논문은 실제 입자 가속기에서의 온라인 연속 캘리브레이션에 대해 강화학습으로 학습된 최적화(RLO)와 베이지안 최적화(BO)를 비교한다. ARES 가속기에서의 비례 조절 작업을 통해, RLO가 수렴 속도와 최종 성능에서 일반적으로 BO를 능가함을 입증하였지만, BO는 노이즈가 있는 조건에서 더 뛰어난 안정성을 보이며, 복잡한 공정 조절 시나리오에서 알고리즘 선택을 위한 기준 집합을 제시한다.

ABSTRACT

Online tuning of real-world plants is a complex optimisation problem that continues to require manual intervention by experienced human operators. Autonomous tuning is a rapidly expanding field of research, where learning-based methods, such as Reinforcement Learning-trained Optimisation (RLO) and Bayesian optimisation (BO), hold great promise for achieving outstanding plant performance and reducing tuning times. Which algorithm to choose in different scenarios, however, remains an open question. Here we present a comparative study using a routine task in a real particle accelerator as an example, showing that RLO generally outperforms BO, but is not always the best choice. Based on the study's results, we provide a clear set of criteria to guide the choice of algorithm for a given tuning task. These can ease the adoption of learning-based autonomous tuning solutions to the operation of complex real-world plants, ultimately improving the availability and pushing the limits of operability of these facilities, thereby enabling scientific and engineering advancements.

연구 동기 및 목표

• 복잡한 물리 시스템에서의 실세계 온라인 연속 조절에 대해 강화학습으로 학습된 최적화(RLO)와 베이지안 최적화(BO)의 성능을 평가하고 비교하는 것.
• 측정 노이즈, 시간 제약, 동적 시스템 행동 등 실제 조건 하에서 RLO와 BO의 강점과 한계를 규명하는 것.
• 차원 수, 노이즈 수준, 수렴 속도 요구 사항과 같은 조절 작업 특성에 기반하여 RLO와 BO 간의 선택 기준을 수립하는 것.
• 모의 실험과 실제 입자 가속기 실험을 통해 방법의 유효성을 검증하여 실용성과 신뢰성을 확보하는 것.
• 고영향도 과학 시설의 자동화, 샘플 효율성, 재현 가능성을 높여 전문가 인간 운영자의 의존도를 줄이는 것.

제안 방법

• RLO는 실시간으로 자기장 설정을 최적화하기 위한 엔드 투 엔드 정책을 학습하기 위해 강화학습을 통해 훈련된 딥 디터미니스틱 정책 기반 에이전트(DDPG)를 사용한다.
• BO는 탐색과 이용의 균형을 이루기 위해 기대 개선도(Expected Improvement, EI)를 이용한 가우시안 프로세스(GP) 서로서모델을 사용한다.
• 두 방법 모두 전자 빔을 진단 스크린에 집중하고 조종하기 위해 목표로 하는 ARES 입자 가속기에서의 빔 조절 작업에서 평가된다.
• 목적 함수는 빔 위치 오차(MAE)와 빔 스크린 상 보상의 조합이며, GP 안정성을 향상시키기 위해 입력을 정규화하고 출력을 표준화한다.
• GP 모델의 하이퍼파ram터(길이 척도, 신호 노이즈)는 각 단계에서 로그우도 최대화를 통해 동적으로 업데이트된다.
• 비용이 많이 드는 다이폴 극성 전환을 방지하기 위해 제약 조건이 적용된 액션 공간을 사용하고, 안정성을 확보하기 위해 단계 크기를 총 액션 범위의 0.1배 이내로 제한한다.

Figure 1: Simplified 3D illustration of the considered section of the ARES particle accelerator. This section consists of three quadrupole magnets and two steering magnets, followed by a diagnostic screen. The measured beam $\bm{b}$ and the desired beam $\bm{b}^{\prime}$ are provided to the algorith

실험 결과

연구 질문

• RQ1 실제 입자 가속기에서의 빔 조절 작업에서 RLO와 BO는 수렴 속도와 최종 최적화 성능 측면에서 어떻게 비교되는가?
• RQ2 측정 노이즈와 제한된 샘플 예산과 같은 실제 조건 하에서 RLO와 BO의 상대적 강점과 약점은 무엇인가?
• RQ3 조절 차원 수와 시스템 역학이 증가함에 따라 RLO와 BO의 성능는 어떻게 변화하는가?
• RQ4 실제 가속기 운영에서의 경험적 결과에 기반해 어떤 상황에서 RLO가 BO보다 더 적합하고, 반대로 어떤 상황에서 BO가 더 적합한가?
• RQ5 미래의 복잡한 물리적 공장에서 자율 조절 응용을 위한 RLO 또는 BO 선택을 안내할 수 있는 의사결정 기준 집합을 도출할 수 있는가?

주요 결과

• RLO는 빔 조절 작업에서 BO보다 더 빠른 수렴 속도와 더 나은 최종 성능를 달성하였으며, 75회의 실제 단계 이후 평균 절대 오차(MAE)를 0.1 mm 이하로 줄였다.
• BO는 수렴 속도는 느렸지만 노이즈가 있는 조건에서 더 큰 안정성을 보였으며, 측정 불확실성으로 인한 발산 위험도 낮았다.
• +10의 빔 스크린 보상이 목적 함수를 크게 향상시켜 가시성이 핵심 성능 지표임을 시사했다.
• 두 방법 모두 Nelder-Mead와 무작위 검색과 같은 베이스라인 방법을 능가하였으며, 시뮬레이션과 실제 실험 모두에서 RLO가 30~40% 더 빠른 수렴 속도를 보였다.
• 연구 결과 RLO는 희소 피드백에서 복잡한 비선형 정책을 학습할 수 있는 능력 덕분에 고차원 조절 작업에서 더 효과적임을 확인하였다.
• 모의 실험과 실제 데이터의 통합을 통해 강력한 검증이 이루어졌으며, RLO가 시뮬레이션에서 실제 가속기 운영으로의 일반화 능력이 뛰어남을 확인하였다.

Figure 2: Beam difference over time for different optimisation algorithms. The mean beam difference as the MAE of the beam parameters to the target beam is shown by the solid and dashed lines. The envelopes show the \qty 95 confidence intervals of the beam differences. a shows the beam differences a