[論文レビュー] Reinforcement learning optimization of the charging of a Dicke quantum battery

Paolo Andrea Erdman, Gian Marcello Andolina+2 more|arXiv (Cornell University)|Dec 23, 2022

Advanced Thermodynamics and Statistical Mechanics被引用数 6

ひとこと要約

本論文は、深層強化学習、特にソフトアクターキャリブレーション（SAC）アルゴリズムを用い、カップリング強度またはキャビティデチューニングを動的に制御することで、ディッケ量子バッテリーの充電を最適化する。この手法は、標準のオンオフプロトコルと比較して、はるかに高いエルゴトロピーと向上した充電精度を達成し、N = 12およびN = 20の系においても、ほぼ完全充電に近い状態でも集団的スピードアップが維持される。

ABSTRACT

Quantum batteries are energy-storing devices, governed by quantum mechanics, that promise high charging performance thanks to collective effects. Due to its experimental feasibility, the Dicke battery - which comprises $N$ two-level systems coupled to a common photon mode - is one of the most promising designs for quantum batteries. However, the chaotic nature of the model severely hinders the extractable energy (ergotropy). Here, we use reinforcement learning to optimize the charging process of a Dicke battery either by modulating the coupling strength, or the system-cavity detuning. We find that the ergotropy and quantum mechanical energy fluctuations (charging precision) can be greatly improved with respect to standard charging strategies by countering the detrimental effect of quantum chaos. Notably, the collective speedup of the charging time can be preserved even when nearly fully charging the battery.

研究の動機と目的

• 多数体量子バッテリーにおいて、低エルゴトロピーと低い充電精度を示す標準のオンオフ充電プロトコルの限界を克服すること。
• 大規模Nに対する解析的解法が困難であることを踏まえ、機械学習を用いてディッケ量子バッテリーの最適な時間依存制御戦略を開発すること。
• 抽出可能なエネルギー（エルゴトロピー）を最大化し、エネルギーの揺らぎを最小化する一方で、集団的スピードアップスケーリング（∝√N）を維持すること。
• 実際のヒルバート空間次元において、複雑な多数体量子ダイナミクスを最適化する強化学習のロバストネスとスケーラビリティを示すこと。

提案手法

• カップリング強度およびキャビティデチューニングのための時間依存制御方策を発見するために、ソフトアクターキャリブレーション（SAC）強化学習アルゴリズムを用いる。
• 状態観測値から制御行動へのマッピングを実行するため、2層の隠れ層（512および256ユニット）を備えたニューラルネットワーク方策を採用する。
• カリキュラム学習戦略を実装：初期段階ではエネルギー差を最適化し、その後シグモイド重み関数を用いて滑らかにエルゴトロピー差への移行を行う。
• 光子モードのシミュレーションに、5Nまたは6N状態までの切り捨てられたフォック空間を用い、安定性と収束性を確保するためハイパーパrameterを調整する。
• 訓練中に温度パrameterが正のまま保たれるように、対数パラメータライゼーション（α = exp(lₐ)）を適用する。
• 各系サイズごとに5回の独立した訓練ランを実施し、ロバストネスを評価し、報告に使用するための最良のパラメータを採用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、標準のオンオフ戦略をはるかに上回るエルゴトロピーを実現する最適な時間依存制御プロトコルを発見できるか？
• RQ2 抽出可能なエネルギーを最大化し、エネルギーの揺らぎを最小化する際、充電時間における集団的スピードアップ（∝√N）はどの程度維持されるか？
• RQ3 異なる訓練ランおよび異なる系サイズ（N=12、N=20）において、学習された制御方策はどの程度ロバストか？
• RQ4 エネルギーに基づく報酬設計からエルゴトロピーに基づく報酬設計への移行は、初期訓練段階における学習効率を向上させるか？

主な発見

• 強化学習で最適化されたプロトコルは、集団的スピードアップの時間スケールと同等の充電時間で、次第に1.0に近いエルゴトロピー（次元なし単位）に達し、標準のオンオフプロトコルを上回る性能を示す。
• N=20の場合、最適化されたプロトコルは最終的に約0.995のエルゴトロピーを維持し、ほぼ最大限のエネルギー抽出を実現している。
• エネルギーの揺らぎ（充電精度）は、標準プロトコルと比較して顕著に低減されており、5回の訓練ランにおけるエルゴトロピー分布の誤差棒が狭いことから明らかである。
• 本手法は高いロバストネスを示しており、5回の訓練ランにおける平均エルゴトロピー値はほぼ同一であり、標準偏差はプロット上ほとんど見えないほど小さい。
• エネルギーからエルゴトロピーへの報酬設計への移行を含むカリキュラム学習戦略により、初期段階の収束が改善され、初期報酬が疎らであっても効果的な方策学習が可能になった。
• フォック空間の切り捨て（N_Fock = 6Nおよび10N）にかかわらず結果が安定しており、数値シミュレーションの収束性と信頼性が確認された。