[논문 리뷰] Towards practical reinforcement learning for tokamak magnetic control

Brendan Tracey, Andrea Michi외 16명|arXiv (Cornell University)|2023. 07. 21.

Magnetic confinement fusion research인용 수 6

한 줄 요약

이 논문은 토카막 fusion 반응로에서 실시간 자기장 제어를 위한 향상된 강화학습(RL) 알고리즘을 제안하며, 제어 정확도를 향상시키고 학습 시간을 단축시킨다. 이전 연구를 바탕으로 에이전트 아키텍처와 학습 절차를 개선함으로써, TCV 토카막에서 최대 65% 향상된 플라즈마 형상 정확도, 감소된 정상 상태 전류 편향, 그리고 3배 빠른 학습을 달성하여, fusion 에너지 연구에 대한 실용성을 입증한다.

ABSTRACT

Reinforcement learning (RL) has shown promising results for real-time control systems, including the domain of plasma magnetic control. However, there are still significant drawbacks compared to traditional feedback control approaches for magnetic confinement. In this work, we address key drawbacks of the RL method; achieving higher control accuracy for desired plasma properties, reducing the steady-state error, and decreasing the required time to learn new tasks. We build on top of \cite{degrave2022magnetic}, and present algorithmic improvements to the agent architecture and training procedure. We present simulation results that show up to 65\% improvement in shape accuracy, achieve substantial reduction in the long-term bias of the plasma current, and additionally reduce the training time required to learn new tasks by a factor of 3 or more. We present new experiments using the upgraded RL-based controllers on the TCV tokamak, which validate the simulation results achieved, and point the way towards routinely achieving accurate discharges using the RL approach.

연구 동기 및 목표

• 기존 RL 기반 토카막 제어의 핵심 한계를 해결하기 위해, 즉 낮은 형상 정확도, 높은 정상 상태 오차, 장기적인 학습 시간을 개선한다.
• 실시간 플라즈마 제어에 대한 RL의 확장성과 실용성을 향상시킨다.
• 더 빠른 정책 학습과 향상된 강인성 덕분에 새로운 플라즈마 시나리오에 신속하게 적응할 수 있도록 한다.
• 개선된 RL 프레임워크가 TCV 토카막에서 효과적으로 검증되어 시뮬레이션과 실제 구현 간 격차를 메운다.
• 복잡한 플라즈마 구성을 포함한 전통적 피드백 제어 방법과 비교해도 성능이 유사하거나 뛰어나다는 것을 입증한다.

제안 방법

• 플라즈마 제어 작업에서 장기적 의존성과 정책 일반화 능력을 향상시키기 위해 에이전트 아키텍처를 개선한다.
• 학습 중에 에피소드 청크를 도입하여, 여러 플라즈마 형상 구성에서 병렬 탐색이 가능하게 하여 학습 속도를 가속화한다.
• 구조화된 작업 진행 방식을 갖춘 커리큘럼 학습을 도입하여, 간단한 플라즈마 형상에서 시작해 점차 복잡도를 높인다.
• 희소 피드백 문제를 줄이고 학습 중 신호 대 잡음 비율을 향상시키기 위해 보상 함수를 최적화한다.
• 유사한 플라즈마 시나리오 간 정책을 정교하게 조정하기 위해 전이 학습 기법을 활용하여 샘플 복잡도를 감소시킨다.
• 학습된 RL 정책을 TCV 토카막의 실시간 제어 시스템에 통합하여, 자기장 측정치를 입력으로 받아 코ils의 전류 명령을 출력으로 내보낸다.

Figure 1 : A simplified set of references (desired plasma configurations) for the showcase_xpoint task. Time (measured from the start of the discharge) and the plasma current ( $I_{p}$ ) are displayed above each plasma shape. X-points marked with red " X ". The limit point is displayed in orange . F

실험 결과

연구 질문

• RQ1 향상된 RL 알고리즘이 기존 RL 방법에 비해 토카막 제어에서 더 높은 플라즈마 형상 정확도를 달성할 수 있는가?
• RQ2 새로운 학습 절차가 플라즈마 전류 및 위치의 정상 상태 오차를 어느 정도 줄일 수 있는가?
• RQ3 향상된 RL 프레임워크는 기준 대비 새로운 플라즈마 제어 작업을 얼마나 더 빠르게 학습할 수 있는가?
• RQ4 향상된 RL 정책은 고도로 타원형이거나 눈꽃 모양과 유사한 형상 포함 다양한 플라즈마 구성에 일반화되는가?
• RQ5 RL 기반 제어기가 TCV 토카막의 실제 실험에서 안정적이고 정확한 제어를 달성할 수 있는가?

주요 결과

• 개선된 RL 방법은 시뮬레이션에서 기준 방법 대비 최대 65% 높은 플라즈마 형상 정확도를 달성한다.
• 플라즈마 전류의 장기적 편향이 크게 감소하여, 더 나은 정상 상태 제어 성능을 나타낸다.
• 최적화된 학습 절차 덕분에 새로운 제어 작업을 학습하는 데 소요되는 시간이 3배 이상 단축된다.
• 실제 TCV 실험에서 RL 제어기가 복잡한 플라즈마 구성, 특히 눈꽃 모양과 드롭렛 유사 형상까지 안정화하는 데 성공했다.
• 시뮬레이션 결과가 실제 TCV 토카막에서 검증되어, RL 기반 제어 시스템의 실용적 타당성을 입증했다.
• 다양한 플라즈마 시나리오에 걸쳐 강력한 일반화 능력을 보이며, 새로운 실험 캠프에 신속히 도입할 수 있음을 보여준다.

(a) Plot depicting the impact of the good and bad reference values on reward component values. Note that the bad reference points correspond to a reward of 0.1.