[論文レビュー] Machine learning engineering of quantum currents

Tobias Haug, Rainer Dumke+3 more|arXiv (Cornell University)|Nov 21, 2019

Quantum Computing Algorithms and Architecture被引用数 1

ひとこと要約

本稿では、集中素子を有するリング形状の量子回路において、高精細な量子電流状態を設計するための深層強化学習（DRL）フレームワークを提案する。時間に依存する局所ポテンシャルを最適化するエージェントを訓練することで、一重巻きおよびエンタングルドな多重巻き状態を含む、耐障害性の高い恒久的電流の準備が可能となり、忠実度とスケーラビリティにおいて従来のプロトコルを上回る。

ABSTRACT

The design, accurate preparation and manipulation of quantum states in quantum circuits are essential operational tasks at the heart of quantum technologies. Nowadays, circuits can be designed with physical parameters that can be controlled with unprecedented accuracy and flexibility. However, the generation of well-controlled current states is still a nagging bottleneck, especially when different circuit elements are integrated together. In this work, we show how machine learning can effectively address this challenge and outperform the current existing methods. To this end, we exploit deep reinforcement learning to prepare prescribed quantum current states in circuits composed of lumped elements. To highlight our method, we show how to engineer bosonic persistent currents as they are relevant in different quantum technologies as cold atoms and superconducting circuits. We demonstrate the use of deep reinforcement learning to re-discover established protocols, as well as solve configurations that are difficult to treat with other methods. With our approach, quantum current states characterised by a single winding number or entangled currents of multiple winding numbers can be prepared in a robust manner, superseding the existing protocols.

研究の動機と目的

• 統合量子回路における良好に制御された量子電流状態を生成するという長年の課題に取り組むこと、特に複雑なトポロジーまたは複数の巻き数を有する系において。
• 従来のプロトコルではエンタングルドな電流状態を扱えず、現実的でない制御シーケンスを必要とするという制限を克服すること。
• 機械学習が、高忠実度および耐障害性に優れた量子電流状態の準備において、従来の制御手法を上回ることを示すこと。
• 冷媒や超伝導回路を含む多様なプラットフォームにおいて、高速でスケーラブルかつ柔軟な制御プロトコルの設計を可能にすること。
• 既存の構成と新規の構成の両方で手法を検証することにより、既知のプロトコルの再発見と、従来では解けなかった設定の解決を実現すること。

提案手法

• 時間に依存する制御シーケンスを最適化するため、人工知能エージェントを訓練するため、プロキシマルポリシー最適化（PPO）アルゴリズムを用いた深層強化学習（DRL）を採用する。
• 量子系を、時間ステップ tn における L 個のサイトから成るリング格子としてモデル化し、各サイトに可調節な局所ポテンシャル Pm(t) を設ける。各サイトにはボソン粒子が存在する。
• 過去のポテンシャルシーケンスを含む状態 s(tn) を入力として、ポリシー・ネットワークを介して次のステップのポテンシャル Pm(tn) を出力する深層ニューラルネットワークを用いる。
• 報酬関数を状態忠実度 ⟨Ψ|Ô|Ψ⟩ として定義し、Ô はターゲット電流状態を測定する観測量である。これにより、エージェントは最適な制御シーケンスを学習できる。
• 将来の報酬の期待値を推定するためのクリティック・ネットワークを実装し、価値ベースのブートストラップにより安定した学習を可能にする。
• 複数の学習エポックにわたる効率的で安定したポリシー最適化を実現するため、遷移（状態、行動、報酬、次状態）を格納・サンプリングするリプレイバッファを用いる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、集中素子を有するリング形状の量子回路において、高忠実度の量子電流状態を効果的に生成できるか？
• RQ2 DRLフレームワークは、恒久的電流の既知の制御プロトコルを再発見できるか。これにより、信頼性の検証が可能か？
• RQ3 本手法は、従来の制御技術では不可能な複数の巻き数を有するエンタングルドな電流状態を準備できるか？
• RQ4 粒子数、相互作用強度、プロトコル長さなどの変動する系パラメータに対して、DRLベースのプロトコルはどの程度耐障害性を示すか？
• RQ5 冷媒や超伝導回路を含む、異なる物理的プラットフォームへ、この手法はどの程度一般化可能か？

主な発見

• DRLフレームワークは、一重巻きの恒久的電流に対する既存のプロトコルを成功裏に再発見し、既知の物理的解と整合していることを確認した。
• 20回の繰り返し実験において、平均忠実度が 0.95 を超える高忠実度の量子電流状態の準備に成功した。複雑な構成に対しても同様に有効であった。
• Np = 3 個の粒子と L = 12 個のサイトを有する系において、プロトコル長さ（NT = 4 から 12）の変動に対しても、忠実度が 0.85 を超えて高い性能を維持した。
• 本フレームワークにより、従来の制御手法では到達不可能な、複数の巻き数を有するエンタングルドな電流状態の準備が可能になった。
• 相互作用強度 U やプロトコル長さ T の変更に対しても、性能低下が最小限に抑えられ、アルゴリズムの耐障害性が示された。
• リプレイバッファとPPOアルゴリズムの使用により、1000エポック以内に安定した学習収束が達成され、忠実度が学習反復回数に応じて滑らかに向上した。