[論文レビュー] Machine Learning Meets Quantum State Preparation. The Phase Diagram of Quantum Control

Marin Bukov, Alexandre G. R. Day+4 more|arXiv (Cornell University)|May 1, 2017

Advanced Thermodynamics and Statistical Mechanics被引用数 4

ひとこと要約

この論文は、非可積分な相互作用するキュービットの多体系において、シミュレーションから得られるフィデリティのみをスカラー報酬として用いて、高度な強化学習（RL）を用いて量子状態準備を最適化する。本研究では、プロトコル空間にスピンガラスに類似した相転移を明らかにし、RLが指数的に困難な領域でさえもほぼ最適なフィデリティを達成できることを示している。伝統的な手法を上回る性能を発揮する。

ABSTRACT

The ability to prepare a physical system in a desired quantum state is central to many areas of physics such as nuclear magnetic resonance, cold atoms, and quantum computing. Yet, preparing states quickly and with high fidelity remains a formidable challenge. In this work we implement cutting-edge Reinforcement Learning (RL) techniques and show that their performance is comparable to optimal control methods in the task of finding short, high-fidelity driving protocol from an initial to a target state in non-integrable many-body quantum systems of interacting qubits. RL methods learn about the underlying physical system solely through a single scalar reward (the fidelity of the resulting state) calculated from numerical simulations of the physical system. We further show that quantum state manipulation, viewed as an optimization problem, exhibits a spin-glass-like phase transition in the space of protocols as a function of the protocol duration. Our RL-aided approach helps identify variational protocols with nearly optimal fidelity, even in the glassy phase, where optimal state manipulation is exponentially hard. This study highlights the potential usefulness of RL for applications in out-of-equilibrium quantum physics.

研究の動機と目的

• 相互作用するキュービットの非可積分な多体系における、高速かつ高精度な量子状態準備の課題に取り組む。
• システムの動的特性に関する事前知識がなくとも、強化学習が効率的に最適な制御プロトコルを発見できるかを調査する。
• スピンガラス系に類似した相転移が、量子制御プロトコル空間に存在するかを検討する。
• 最適制御が指数的に困難になる領域においても、ほぼ最適なフィデリティを達成する変分プロトコルを同定する。

提案手法

• 量子系の数値シミュレーションから得られる状態フィデリティに基づくスカラー報酬にのみ依存して訓練されたディープ強化学習エージェントを用いる。
• 連続的制御方策ネットワークを用いて、系ハミルトニアンの時間依存駆動プロトコルを生成する。
• 制御プロトコル空間をマッピングし、高・低フィデリティ領域を特定することで、スピンガラス系に類似した相転移を明らかにする。
• ガラス的相において最適化が指数的に困難であるにもかかわらず、高精度なシーケンスを同定するために変分プロトコル探索を適用する。
• プロトコルの長さとフィデリティの観点から、最適制御法と比較してRLの性能を、さまざまな系のサイズと相互作用強度の下でベンチマークする。
• プロトコル感度とエネルギー障害の粗さの統計的指標を用いて、制御のランドスケープの構造を分析し、ガラス的行動を検出する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、システムの事前知識がなくとも、非可積分な多体系における高精度な量子制御プロトコルを発見できるか？
• RQ2 量子制御プロトコルの空間に、スピンガラス系に類似した相転移が存在するか？ その場合、最適化の難易度にどのような影響を与えるか？
• RQ3 プロトコルの長さとフィデリティの観点から、RLの性能は最適制御法と比べてどうなるか？
• RQ4 正確な最適化が指数的に困難なガラス的相においても、RLはほぼ最適なフィデリティを持つ変分プロトコルを同定できるか？
• RQ5 量子状態準備におけるガラス的行動の発現と相関する制御ランドスケープの構造的特徴は何か？

主な発見

• 強化学習は、相互作用するキュービットの非可積分な多体系ですら、最適制御法と同等の状態準備フィデリティを達成する。
• 制御プロトコル空間にスピンガラスに類似した相転移が同定され、最適な状態操作が指数的に困難になる領域を示している。
• ガラス的相はプロトコルの長さの関数として出現し、臨界的な長さの閾値を超えると最適化の難易度が急激に上昇する。
• RLは、正確な方法が失敗するガラス的相においても、ほぼ最適なフィデリティを持つ変分プロトコルを効果的に同定している。
• RLの性能は、さまざまな系のサイズと相互作用強度に対して安定しており、多様な量子系への一般化可能性を示している。
• スカラー報酬としてのフィデリティのみで十分であり、RLが有効な制御戦略を学習できることを示しており、データ効率性と実用性の高さが顕著である。