[논문 리뷰] Model-free optimization of power/efficiency tradeoffs in quantum thermal machines using reinforcement learning

Paolo Andrea Erdman, Frank Noé|arXiv (Cornell University)|2022. 04. 10.

Advanced Thermodynamics and Statistical Mechanics인용 수 6

한 줄 요약

이 논문은 시스템의 하미르토니안, 양자 상태 또는 사이클 구조에 대한 지식 없이도 양자 열기계의 전력-효율성 트레이드오프를 최적화하는 모델-프리 강화학습 프레임워크를 제안한다. 측정된 열유속에만 의존함으로써, 이 방법은 이전 접근 방식, 특히 최적화된 옷토 사이클보다도 뛰어난 페어레토 최적 사이클을 발견한다. 초전도 큐비트 및 조화 진동자 기반의 양자 엔진과 냉장고에서 양자 마찰을 감소시킨다.

ABSTRACT

A quantum thermal machine is an open quantum system that enables the conversion between heat and work at the micro or nano-scale. Optimally controlling such out-of-equilibrium systems is a crucial yet challenging task with applications to quantum technologies and devices. We introduce a general model-free framework based on Reinforcement Learning to identify out-of-equilibrium thermodynamic cycles that are Pareto optimal trade-offs between power and efficiency for quantum heat engines and refrigerators. The method does not require any knowledge of the quantum thermal machine, nor of the system model, nor of the quantum state. Instead, it only observes the heat fluxes, so it is both applicable to simulations and experimental devices. We test our method on a model of an experimentally realistic refrigerator based on a superconducting qubit, and on a heat engine based on a quantum harmonic oscillator. In both cases, we identify the Pareto-front representing optimal power-efficiency tradeoffs, and the corresponding cycles. Such solutions outperform previous proposals made in the literature, such as optimized Otto cycles, reducing quantum friction.

연구 동기 및 목표

• 시스템의 하미르토니안이나 양자 상태에 대한 사전 지식 없이도 일반적인 양자 열기계(QTMs)를 최적화하기 위한 모델-프리 방법을 개발하는 것.
• 유한한 시간 내 비평형 상태에서의 전력과 효율성 간 다중목표 최적화 문제를 해결하는 것.
• 측정 가능한 열유속만을 피드백으로 사용하여 시뮬레이션 및 실제 실험적 QTMs의 최적화를 가능하게 하는 것.
• 광범위한 고전적 또는 양자적 사이클 가정 없이 고전적 전력과 고효율을 균형 잡은 페어레토 최적 사이클을 발견하는 것.
• 공명에 의한 손실을 최소화하는 제어 프로토콜을 식별하여 QTMs에서의 양자 마찰 효과를 줄이는 것.

제안 방법

• 연속적 및 이산적 행동을 갖는 소프트 액터-크리틱(SAC) 강화학습 알고리즘을 사용하여 시간에 따라 변화하는 제어 프로토콜을 최적화한다.
• 환경 피드백으로서 뜨거운 열수와 차가운 열수의 열유속(JH(t), JC(t))만을 사용하므로, 이 방법은 모델-프리이며 실험적으로 구현 가능하다.
• 양자 시스템을 블랙박스로 간주하여 시스템의 하미르토니안, 양자 상태 또는 내부 역학에 대한 지식이 필요하지 않다.
• 전력과 효율성이라는 다중목표를 동시에 최적화함으로써 전체 페어레토 프론트를 발견할 수 있다.
• 강화학습 에이전트는 환경과의 상호작용을 통해 제어 정책을 학습하며, 행동으로서 시스템 파라미터(예: 에너지 갭 조절) 조정 및 어느 열수에 연결할지 선택이 포함된다.
• 이 방법은 열유속 측정이 가능한 한에서 일반적이며, 양자 및 고전적 확률적 열기계 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 모델-프리 강화학습 접근 방식이 시스템 지식 없이도 양자 열기계에서 최적의 전력-효율성 트레이드오프를 발견할 수 있는가?
• RQ2 RL로 식별된 사이클의 성능은 전력과 효율성 측면에서 옷토 사이클과 같은 알려진 기준과 비교해 어떻게 되는가?
• RQ3 이 방법은 비평형 양자 사이클에서의 양자 마찰을 어느 정도 완화시킬 수 있는가?
• RQ4 이 방법은 열기관과 냉장고 양쪽에서 기존 프로토콜보다 뛰어난 복잡한 비전통적 사이클 형태를 발견할 수 있는가?
• RQ5 양자 상태를 모니터링하지 않고도 열유속 측정만으로 근사 페어레토 최적 성능을 달성할 수 있는가?

주요 결과

• 이 방법은 초전도 큐비트 냉장고와 양자 조화 진동자 열기관 모두에 대해 최적의 전력-효율성 트레이드오프 전체 페어레토 프론트를 성공적으로 식별하였다.
• 발견된 사이클은 양자 마찰 효과를 크게 감소시켜 최적화된 옷토 사이클과 이전의 제안들보다 뛰어난 성능을 보였다.
• 초전도 큐비트 냉장고의 경우, 시스템의 하미르토니안에 대한 지식 없이도 이전 방법보다 더 높은 냉각 전력과 더 나은 효율성을 달성하였다.
• 조화 진동자 열기관의 경우, 복잡한 비단절적 제어 프로토콜을 발견하여 전력 출력을 향상시키면서도 높은 효율을 유지하였다.
• 이전의 강화학습 방법이 전체 양자 상태 모니터링을 필요로 했던 것과는 달리, 이 방법은 모델-프리이며 실험적으로 실현 가능한 방식으로 동일한 성능을 달성하였다.
• 결과적으로 열유속만으로도 양자 열기계에서 고성능의 비정상적 제어 사이클을 발견하는 데 충분함을 보여주었다.