[論文レビュー] Self-Correcting Quantum Many-Body Control using Reinforcement Learning with Tensor Networks

Friederike Metz, Marin Bukov|arXiv (Cornell University)|Jan 27, 2022

Quantum many-body systems被引用数 4

ひとこと要約

本稿では、行列積状態（MPS）を用いた強化学習フレームワークを提案し、量子多体系の効率的かつスケーラブルな制御を実現する。量子状態と強化学習エージェントの方策を両方ともテンソルネットワーク（QMPS）で表現することで、系のスケーリングに比例した線形スケーリングを達成し、従来の純粋なニューラルネットワークよりも大きな1次元系の制御が可能になった。また、動的環境におけるノイズ耐性と自己補正機能を示した。

ABSTRACT

Quantum many-body control is a central milestone en route to harnessing quantum technologies. However, the exponential growth of the Hilbert space dimension with the number of qubits makes it challenging to classically simulate quantum many-body systems and consequently, to devise reliable and robust optimal control protocols. Here, we present a novel framework for efficiently controlling quantum many-body systems based on reinforcement learning (RL). We tackle the quantum control problem by leveraging matrix product states (i) for representing the many-body state and, (ii) as part of the trainable machine learning architecture for our RL agent. The framework is applied to prepare ground states of the quantum Ising chain, including states in the critical region. It allows us to control systems far larger than neural-network-only architectures permit, while retaining the advantages of deep learning algorithms, such as generalizability and trainable robustness to noise. In particular, we demonstrate that RL agents are capable of finding universal controls, of learning how to optimally steer previously unseen many-body states, and of adapting control protocols on-the-fly when the quantum dynamics is subject to stochastic perturbations. Furthermore, we map the QMPS framework to a hybrid quantum-classical algorithm that can be performed on noisy intermediate-scale quantum devices and test it under the presence of experimentally relevant sources of noise.

研究の動機と目的

• ヒルバート空間の拡大に起因する指数的スケーリングの課題に対処すること。
• 正確な対角化の範囲外にある大規模1次元量子系を制御可能な強化学習エージェントを開発すること。
• 行列積状態（MPS）を強化学習アーキテクチャに統合し、効率的でスケーラブルな方策学習を可能にすること。
• 確率的ノイズおよびコherentゲート誤差に対して制御プロトコルの耐性を示すこと。
• NISQデバイスに適したハイブリッド量子古典的アルゴリズムへのフレームワークのマッピングを行うこと。

提案手法

• 1次元系の効率的シミュレーションを可能にするために、面積則に従うエンタングルメントを持つ行列積状態（MPS）を用いて量子状態を表現する。
• 強化学習エージェントの方策は、MPS構造が状態行動価値関数を符号化するハイブリッドMPSニューラルネットアーキテクチャ（QMPS）として実装される。
• 微分可能MPS表現を用いてQ値を計算する勾配ベース強化学習を採用し、テンソルネットワーク全体を逆伝播可能にする。
• 本手法により、通常の深層強化学習の量子制御限界をはるかに超える128キュービットの系でもトレーニングが可能となった。
• 量子回路が保証確率と勾配をサンプリングする一方で、古典的ネットワークが方策を更新するハイブリッド量子古典的実装を設計した。
• デポラライジング、振幅/位相減衰、およびコherentゲート誤差を含む現実的なノイズモデルでフレームワークをテストした。

実験結果

リサーチクエスチョン

• RQ1 MPSでトレーニングされた強化学習エージェントは、従来のディープラーニング手法よりも大きな量子多体系を制御できるか？
• RQ2 QMPSアーキテクチャは、イジング模型の異なる相においても、基底状態を高精度で準備できるか、一般化性能を維持できるか？
• RQ3 確率的摂動またはノイズが量子ダイナミクスに及ぼす影響に対して、RLエージェントはどのように適応し、自己補正を行うか？
• RQ4 ノイズ中間スケール量子（NISQ）デバイスに、現実的なノイズモデルを組み込んだQMPSフレームワークをどの程度実装できるか？
• RQ5 強化学習方策アーキテクチャにテンソルネットワークを用いることで、標準的なニューラルネットワークと比較してノイズ耐性が向上するか？

主な発見

• QMPSフレームワークは、1次元横磁場イジング模型および混合磁場イジング模型の基底状態を、128キュービットまで0.99を超える精度で効果的に準備できた。
• 保証確率の評価に500ショット程度の測定でさえも、成功確率がほぼ100％に近い結果を示し、サンプリングノイズに対する耐性を示した。
• 振幅減衰および位相減衰ノイズ下でも高い性能を維持し、誤差率が10⁻³未満の範囲では成功確率がほぼ100％に近い水準を維持した。
• コherentゲート誤差下でもQMPSエージェントはプロトコルを自己補正でき、回転角ノイズの標準偏差σ < 0.5の範囲で成功確率を維持した。
• 結合次元χ=2の切断QMPSはχ=4に比べて著しく性能が劣り、テンソルネットワークにおける十分なエンタングルメント容量の必要性を確認した。
• ハイブリッド量子古典的実装により、NISQデバイスでもトレーニングが現実可能となり、理想条件下では10⁴ショット以内に収束した。