[논문 리뷰] Model-free and Bayesian Ensembling Model-based Deep Reinforcement Learning for Particle Accelerator Control Demonstrated on the FERMI FEL

Simon Hirlaender, Niky Bruchon|arXiv (Cornell University)|2020. 12. 17.

Advancements in Semiconductor Devices and Circuit Design인용 수 11

한 줄 요약

이 논문은 FERMI 자유전자 레이저에서 방사선 강도 최적화를 위한 모델-무관 및 베이지안 앙상블 모델 기반 딥 강화학습 접근법을 제안한다. 불확실성 인식 동역학 모델링을 위한 앵커드 앙상블을 사용하는 AE-DYNA와 모델-무관 제어를 위한 맞춤형 딥 Q-학습을 결합함으로써, 1,000개 미만의 데이터 포인트로 3~5단계 내에 최대 강도의 >95%를 달성하며, 실제 가속기 제어 환경에서 높은 샘플 효율성과 강건성을 입증한다.

ABSTRACT

Reinforcement learning holds tremendous promise in accelerator controls. The primary goal of this paper is to show how this approach can be utilised on an operational level on accelerator physics problems. Despite the success of model-free reinforcement learning in several domains, sample-efficiency still is a bottle-neck, which might be encompassed by model-based methods. We compare well-suited purely model-based to model-free reinforcement learning applied to the intensity optimisation on the FERMI FEL system. We find that the model-based approach demonstrates higher representational power and sample-efficiency, while the asymptotic performance of the model-free method is slightly superior. The model-based algorithm is implemented in a DYNA-style using an uncertainty aware model, and the model-free algorithm is based on tailored deep Q-learning. In both cases, the algorithms were implemented in a way, which presents increased noise robustness as omnipresent in accelerator control problems. Code is released in https://github.com/MathPhysSim/FERMI_RL_Paper.

연구 동기 및 목표

• 실제 입자 가속기 제어 환경에서 강화학습의 운영 적용 가능성을 입증하기 위해, FERMI 자유전자 레이저에서 강도 최적화를 위한 목표를 설정한다.
• 실제 가속기 환경에서 샘플 효율성, 점점 도달하는 성능, 노이즈에 대한 강건성 측면에서 모델-무관 및 모델 기반 딥 강화학습을 비교한다.
• 불확실성 인식 동역학 모델과 앵커드 앙성 기반의 개선된 안정성과 일반화 능력을 갖춘 새로운 모델 기반 알고리즘 AE-DYNA를 개발하고 검증한다.
• 최소한의 데이터로 고성능 제어를 달성하여, 가속기 물리학에서 흔한 시간에 따라 변화하는 시스템에 대한 실시간 재학습을 가능하게 한다.
• 노이즈 주입 및 앙성 정규화와 같은 아키텍처 및 학습 혁신을 통해 노이즈에 강건하고 낮은 모델 편향을 확보한다.

제안 방법

• 모델 기반 RL 알고리즘인 AE-DYNA를 활용하며, 앵커드 앙성 기반의 불확실성 인식 예측을 통해 편향을 감소시키고 강건성을 향상시키는 신경망 동역학 모델을 사용한다.
• 앵커드 앙성은 손실 함수에 정규화 항을 추가하여, 여러 모델 간에 다양하고 MAP 유사한 매개변수 추정을 유도함으로써 베이지안 사후 근사와 유사하게 동작한다.
• 데이터 노이즈 분산과 사전 분산의 비율을 기반으로 유도된 원소를 갖는 대각 정규화 행렬 Γ를 사용하여 학습을 안정화시키고 불확실성 추정을 향상시킨다.
• 측정 노이즈에 대한 강건성과 샘플 효율성을 향상시키기 위해 노이즈 주입 및 상태 정규화를 적용한 모델-무관 딥 Q-학습 변형을 구현한다.
• 실시간 학습 프레임워크에 두 알고리즘을 통합하여 새로운 데이터로의 재학습을 허용함으로써, 시간에 따라 변화하는 시스템 동역학에의 적응을 가능하게 한다.
• 모델 기반 방법에는 SAC 기반의 액터-크리틱 아키텍처를 사용하는 연속 행동 공간과, 모델-무관 기반의 맞춤형 DQN 변형을 사용하며, 모두 실제 FERMI FEL 데이터로 학습된다.

실험 결과

연구 질문

• RQ1 모델 기반 딥 강화학습이 실생활 가속기 제어에서 모델-무관 방법보다 뛰어난 샘플 효율성을 달성할 수 있는가?
• RQ2 앵커드 정규화를 통한 베이지안 앙성은 FEL 제어를 위한 동역학 모델링에서 모델 안정성과 불확실성 추정을 어떻게 향상시키는가?
• RQ3 모델-무관 및 모델 기반 RL 방법이 실생활 노이즈 환경에서 제한된 데이터(<1,000개 데이터 포인트)로 얼마나 높은 성능을 달성할 수 있는가?
• RQ4 인위적 및 실제 노이즈 조건 하에서 두 접근법 간의 노이즈 강건성은 어떻게 비교되는가?
• RQ5 제안된 방법들이 시간에 따라 변화하는 시스템 행동에 적응하기 위해 실시간으로 재학습이 가능한가? 이를 통해 동적인 환경에서의 운영 구현이 가능한가?

주요 결과

• 모델 기반 AE-DYNA 알고리즘은 단 3~5회의 최적화 단계 내에 최대 방사선 강도의 >95%를 달성하여 뛰어난 샘플 효율성을 입증했다.
• AE-DYNA는 최적에 가까운 성능에 도달하기 위해 1,000개 미만의 데이터 포인트만을 요구하였으며, 샘플 효율성 측면에서 모델-무관 방법보다 뚜렷한 우월성을 보였다.
• 모델-무관 딥 Q-학습 방법은 약간 더 높은 점점 도달 성능를 달성했지만, 이는 상당히 높은 샘플 요구량을 수반했다.
• AE-DYNA에서 불확실성 인식 동역학 모델링과 앵커드 앙성의 조합은 모델 편향을 감소시키고, 특히 노이즈 조건 하에서 학습 안정성을 향상시켰다.
• 학습 중 노이즈 주입은 두 알고리즘 모두의 강건성을 향상시켰지만, AE-DYNA는 인위적 노이즈 하에서 더 뛰어난 성능를 보였으며, 보상 변동성이 적고 수렴 속도가 빠르게 나타났다.
• 3개의 모델 앙성은 수렴 속도와 안정성 측면에서 단일 네트워크 및 더 큰 앙성보다 최적의 성능-학습 시간 트레이드오프를 제공했으며, 가장 뛰어난 성능를 달성했다.