[논문 리뷰] Reinforcement learning optimization of the charging of a Dicke quantum battery

Paolo Andrea Erdman, Gian Marcello Andolina외 2명|arXiv (Cornell University)|2022. 12. 23.

Advanced Thermodynamics and Statistical Mechanics인용 수 6

한 줄 요약

이 논문은 딱딱한 양자 배터리의 충전을 최적화하기 위해 딥 강화학습, 특히 소프트 액터-크리틱 알고리즘을 적용한다. 이는 결합 강도 또는 공진기의 떨어짐을 동적으로 제어함으로써 이루어지며, 표준 온오프 프로토콜에 비해 상당히 높은 에르고트로피와 향상된 충전 정밀도를 달성한다. N = 12 및 N = 20 시스템에서 전하가 거의 완전해지는 근처에서도 집단적 속도 향상이 유지된다.

ABSTRACT

Quantum batteries are energy-storing devices, governed by quantum mechanics, that promise high charging performance thanks to collective effects. Due to its experimental feasibility, the Dicke battery - which comprises $N$ two-level systems coupled to a common photon mode - is one of the most promising designs for quantum batteries. However, the chaotic nature of the model severely hinders the extractable energy (ergotropy). Here, we use reinforcement learning to optimize the charging process of a Dicke battery either by modulating the coupling strength, or the system-cavity detuning. We find that the ergotropy and quantum mechanical energy fluctuations (charging precision) can be greatly improved with respect to standard charging strategies by countering the detrimental effect of quantum chaos. Notably, the collective speedup of the charging time can be preserved even when nearly fully charging the battery.

연구 동기 및 목표

• 다체 양자 배터리에서 분석적 해법이 불가능한 큰 N에 대해, 표준 온오프 충전 프로토콜이 낮은 에르고트로피와 열악한 충전 정밀도를 초래하는 한계를 극복하기 위함.
• 해석적 해법이 불가능한 큰 N에 대해, 기계학습을 활용해 딱딱한 양자 배터리의 최적 시간에 의존하는 제어 전략을 개발하기 위함.
• 가장 높은 에너지 추출량(에르고트로피)을 확보하면서 에너지 변동을 최소화하고, 집단적 속도 향상 스케일링(∝√N)을 유지하기 위함.
• 실제 힐베르트 공간 차원에서 복잡한 다체 양자 역학을 최적화하는 데 있어 강화학습의 강건성과 확장 가능성을 입증하기 위함.

제안 방법

• 소프트 액터-크리틱 강화학습 알고리즘을 사용하여 결합 강도 및 공진기 떨어짐에 대한 시간에 따라 변화하는 제어 정책을 발견한다.
• 상태 관측값을 제어 행동으로 매핑하기 위해 두 개의 은닉층(512 및 256 유닛)을 가진 신경망 정책을 사용한다.
• 커리큘럼 학습 전략을 구현: 처음에는 에너지 차이를 최적화하고, 이후 시그모이드 가중치 함수를 통해 에르고트로피 차이로 부드럽게 전환한다.
• 광자 모드를 시뮬레이션하기 위해 절단된 포크 공간(최대 5N 또는 6N 상태)을 사용하며, 안정성과 수렴성을 확보하기 위해 초모수를 조정한다.
• 온도 매개변수의 양수성을 보장하기 위해 로그 매개변수화(α = exp(lₐ))를 적용한다.
• 각 시스템 크기별로 5회의 독립적인 학습 실행을 수행하여 강건성을 평가하고, 보고서에 사용하기 위해 가장 성능이 뛰어난 정책을 선택한다.

실험 결과

연구 질문

• RQ1 강화학습이 표준 온오프 전략을 초월해 딱딱한 양자 배터리의 에르고트로피를 크게 향상시키는 최적의 시간에 따라 변화하는 제어 전략을 발견할 수 있는가?
• RQ2 에너지 추출량을 최대화하고 에너지 변동을 최소화할 때, 충전 시간의 집단적 속도 향상(∝√N)은 어느 정도 유지되는가?
• RQ3 다양한 학습 실행 및 다른 시스템 크기(N=12, N=20)에 대해 학습된 제어 정책의 강건성은 어떠한가?
• RQ4 에너지 기반 보상 설계에서 에르고트로피 기반 보상 설계로의 전환은 초기 학습 단계에서 학습 효율성을 향상시키는가?

주요 결과

• 강화학습으로 최적화된 전략은 집단적 속도 향상 시간 척도와 유사한 충전 시간에 거의 완전한 에르고트로피(차원 없는 단위로 약 1.0)를 달성하며, 표준 온오프 프로토콜을 뛰어넘는 성능을 보인다.
• N=20일 경우 최적화된 전략은 최종 에르고트로피 약 0.995를 유지하여 거의 최대 수준의 에너지 추출을 보여준다.
• 에너지 변동(충전 정밀도)은 표준 프로토콜에 비해 상당히 감소하였으며, 5회의 학습 실행 동안의 에르고트로피 분포에서 좁은 오차 막대를 통해 이를 확인할 수 있다.
• 이 방법은 높은 강건성을 보이며, 5회 실행 평균 에르고트로피 값은 거의 동일하며, 표준편차가 너무 작아 그림에서 거의 보이지 않을 정도로 작다.
• 에너지 보상에서 에르고트로피 보상으로의 전환을 포함한 커리큘럼 학습 전략은 초기 학습 수렴을 향상시키며, 초기 보상이 희박한 상황에서도 효과적인 정책 학습을 가능하게 한다.
• 다양한 포크 공간 절단(6N 및 10N)에 대해 결과가 안정적이며, 이는 수치 시뮬레이션의 수렴성과 신뢰성을 확인한다.