[論文レビュー] Realizing a deep reinforcement learning agent discovering real-time feedback control strategies for a quantum system

Kevin Reuer, Jonas Landgraf+11 more|arXiv (Cornell University)|Oct 30, 2022

Advancements in Semiconductor Devices and Circuit Design被引用数 5

ひとこと要約

本論文では、事前のシステムモデルがなくても、超伝導キュービットのフィードバック制御戦略を発見するためにFPGAに実装されたリアルタイムの深層強化学習エージェントを提示する。モデルフリーの強化学習を実験的測定データに適用することで、エージェントは3分未満で高速かつ高忠実度のキュービット初期化を達成し、30,000回未満の訓練エピソードで実現した。量子フィードバックシステムにおけるサブマイクロ秒スケールの遅延制御を実証した。

ABSTRACT

To realize the full potential of quantum technologies, finding good strategies to control quantum information processing devices in real time becomes increasingly important. Usually these strategies require a precise understanding of the device itself, which is generally not available. Model-free reinforcement learning circumvents this need by discovering control strategies from scratch without relying on an accurate description of the quantum system. Furthermore, important tasks like state preparation, gate teleportation and error correction need feedback at time scales much shorter than the coherence time, which for superconducting circuits is in the microsecond range. Developing and training a deep reinforcement learning agent able to operate in this real-time feedback regime has been an open challenge. Here, we have implemented such an agent in the form of a latency-optimized deep neural network on a field-programmable gate array (FPGA). We demonstrate its use to efficiently initialize a superconducting qubit into a target state. To train the agent, we use model-free reinforcement learning that is based solely on measurement data. We study the agent's performance for strong and weak measurements, and for three-level readout, and compare with simple strategies based on thresholding. This demonstration motivates further research towards adoption of reinforcement learning for real-time feedback control of quantum devices and more generally any physical system requiring learnable low-latency feedback control.

研究の動機と目的

• 超伝導キュービットのリアルタイムフィードバック制御システムを、マイクロ秒スケールの時間で動作させる。
• 正確なモデルが得られない量子系の制御という課題を、モデルフリーの強化学習により克服する。
• FPGA上に低遅延の深層ニューラルネットワークを実装し、量子制御中のリアルタイム推論を実現する。
• 実験データに直接学習させる強化学習エージェントの実装を、量子状態初期化の事例として示す。
• 強い測定と弱い測定の両状況、および3準位の読み出し状況において、エージェントの性能をしきい値ベースの戦略と比較する。

提案手法

• エージェントの方策πθ(a|s)は、学習可能なパラメータθを持つ深層ニューラルネットワークとしてモデル化された方策勾配強化学習フレームワークが用いられる。
• エージェントは測定結果sをリアルタイムで処理し、報酬Rの累積を最大化するように制御行動a（パルス）を選択する。
• 遅延最適化されたニューラルネットワークアーキテクチャをフィールドプログラム可能なゲートアレイ（FPGA）にデプロイし、サブマイクロ秒スケールの推論とフィードバック遅延を実現する。
• 訓練は実験データに直接行い、各エピソード後にオンライン強化学習を用いてネットワーク重みを更新する。
• エージェントは測定→推論→行動→報酬受信→方策更新のループを継続して動作する。
• 本手法は強い測定と弱い測定の両状況をカバーしており、状態初期化のための3準位（キュートリット）系へも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーの強化学習エージェントは、サブマイクロ秒スケールの遅延で超伝導キュービットのリアルタイムフィードバック制御を達成できるか？
• RQ2 しきい値ベースの戦略と比較して、RLエージェントの初期化忠実度と速度はどのように異なるか？
• RQ3 再訓練なしで、弱い測定や多準位系（キュートリット）に一般化できるか？
• RQ4 実験データに直接学習させる場合の収束速度とデータ効率はどの程度か？
• RQ5 測定強度やシステムノイズ条件の変化に対し、エージェントが学習した方策はどの程度頑健か？

主な発見

• 強化学習エージェントは、3分未満のウォールクロック時間と30,000エピソード未満の訓練で収束を達成した。
• エージェントは超伝導キュービットの初期化において高い忠実度を示し、強い測定と弱い測定の両状況で、単純なしきい値ベースの戦略を上回った。
• エージェントは3準位系（キュートリット）の初期化のための制御戦略を成功裏に学習し、2準位系を超える適応性を示した。
• FPGAベースの実装により、サブマイクロ秒スケールの遅延を達成し、量子コherencyを維持するのに必要な時間スケールでのリアルタイムフィードバック制御が可能になった。
• 訓練の過程でエージェントの性能は着実に向上し、累積報酬と状態忠実度の指標において明確な収束が観察された。
• 本手法により、正確なシステムモデルやシミュレーションが不要な、直接的な実験データへのモデルフリー学習が可能になった。