[論文レビュー] Deep reinforcement learning for quantum Hamiltonian engineering

Pai Peng, Xiaoyang Huang+4 more|arXiv (Cornell University)|Feb 25, 2021

Quantum many-body systems被引用数 4

ひとこと要約

本論文は、スピン-1/2系のデコherenceを抑制する最適な量子ハミルトニアン工学シーケンスを発見するための深層強化学習（DRL）フレームワークを提案する。この手法は、固体状態NMRプラットフォーム上でのシミュレーションおよび実験において、Cory48などの従来手法を上回る性能を示した。本手法は現実的な不具合を考慮してロバストなパルスシーケンスを学習し、長時間スケールでの高精度を実現する以前に未知であった対称的制御パターンを明らかにした。このパターンにより、システム的なシーケンス最適化と、特に長時間にわたる高精度が可能になった。

ABSTRACT

Engineering desired Hamiltonian in quantum many-body systems is essential for applications such as quantum simulation, computation and sensing. Conventional quantum Hamiltonian engineering sequences are designed using human intuition based on perturbation theory, which may not describe the optimal solution and is unable to accommodate complex experimental imperfections. Here we numerically search for Hamiltonian engineering sequences using deep reinforcement learning (DRL) techniques and experimentally demonstrate that they outperform celebrated sequences on a solid-state nuclear magnetic resonance quantum simulator. As an example, we aim at decoupling strongly-interacting spin-1/2 systems. We train DRL agents in the presence of different experimental imperfections and verify robustness of the output sequences both in simulations and experiments. Surprisingly, many of the learned sequences exhibit a common pattern that had not been discovered before, to our knowledge, but has an meaningful analytical description. We can thus restrict the searching space based on this control pattern, allowing to search for longer sequences, ultimately leading to sequences that are robust against dominant imperfections in our experiments. Our results not only demonstrate a general method for quantum Hamiltonian engineering, but also highlight the importance of combining black-box artificial intelligence with understanding of physical system in order to realize experimentally feasible applications.

研究の動機と目的

• 多数体系の最適な量子制御シーケンスを設計するにあたり、直感的・摂動論的アプローチの限界を克服すること。
• 複雑な実験的不具合や可積分でない力学を扱える、モデルフリーでデータ駆動のアプローチを開発すること。
• DRLで学習したシーケンスの実験的妥当性と、実際の固体状態NMRシステムにおける優位性を実証すること。
• 学習済みシーケンスに隠された構造的パターンを解明し、それを系統的な拡張や主要な不具合に対するロバスト性に応用すること。

提案手法

• DRLエージェントは、ダイポール相互作用を有するシミュレーテッドスピン-1/2系において、目的の時間発展演像（例：デコherence抑制）の忠実度を最大化するようにパルスシーケンスを生成するよう訓練される。
• DRLエージェントは、マーカフ決定過程に従い、状態は現在のスピン系の時間発展演像を符号化し、行動は特定のパルス（例：x軸、y軸方向へのπ/2回転など）の適用に対応する。
• 環境シミュレータは、各行動の後に時間発展演像演算子（伝搬子）を計算し、エージェントは所望の恒等演算への忠実度に基づいた密な報酬を受ける。
• エージェントは、角度誤差やドリフトなどのさまざまな実験的不具合を想定して訓練され、ロバスト性が保証される。得られたシーケンスは、シミュレーションおよび300 MHz NMR分光計で実験的に検証された。
• 訓練後、対称性に基づく解析を実施し、共通の構造的パターン（例：z軸回転不変性と鏡対称性を有する対称的パルスシーケンス）を同定・活用することで、シーケンスの拡張と高次の誤差キャンセレーションが可能になった。
• 平均ハミルトニアン理論（AHT）を活用して、学習済みシーケンスの解析的検証と最適化を実施し、特にシーケンスの対称性と位相シフトによって、ゼロ次および一次誤差項をキャンセルした。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、強い相互作用を有するスピン系のデコherence抑制において、古典的に設計されたシーケンスを上回る量子制御シーケンスを発見できるか？
• RQ2 DRLは、角度誤差やドリフトなどの現実的な実験的不具合に対して、ロバストなシーケンスを生成できるようにどのように訓練できるか？
• RQ3 DRLで学習したシーケンスは、解析的理解やシーケンスの拡張に活用可能な、隠れた構造的パターンを示すか？
• RQ4 ブラックボックスAIと物理的洞察の組み合わせにより、より効率的かつ実験的に実現可能な量子制御プロトコルが得られるか？

主な発見

• DRLで学習したyxx48シーケンスは、カルシウムフッ化物およびフルオロapatiteの両方のシミュレーションおよび実験において、ベンチマークであるCory48シーケンスを上回り、長期的な忠実度が優れていた。
• 粉末アダマントンにおける実験では、yxx48シーケンスは短時間ではCory48と同等の性能を示し、長時間にわたってはそれを上回り、より優れたロバスト性を示した。
• yxx24およびyxx48シーケンスは、128サイクルにわたって実験的に高い忠実度を維持していることが確認され、yxx48シーケンスは初期段階で忠実度が低かったにもかかわらず、安定した性能を示した。
• DRLで学習したシーケンスに、z軸回転不変性と鏡対称性を特徴とする、以前に未知であった対称的制御パターンが存在することが明らかになった。このパターンにより、解析的シーケンス拡張が可能となった。
• Angle12シーケンスの特定のパルスにπ位相シフトを適用することで、ゼロ次平均ハミルトニアンがキャンセルされ、誤差抑制が向上した改良版Angle12シーケンスが得られた。
• 対称化および改良されたAngle12シーケンスをπ位相シフトを伴って二重化することで、ゼロ次および一次平均ハミルトニアンが消滅するyxx24シーケンスが得られ、高次誤差抑制の有効性が確認された。