[論文レビュー] Reinforcement Learning to Autonomously Prepare Floquet-Engineered States: Inverting the Quantum Kapitza Oscillator

Marin Bukov|arXiv (Cornell University)|Aug 27, 2018

Neural Networks and Reservoir Computing被引用数 1

ひとこと要約

この論文は、モデルフリー強化学習（Q学習）が、強い駆動を受けた量子カピツァ振動子において、ノイズやシステムの事前知識がなくても、数サイクルのシェイキングで安定した反転状態を自動的に準備できることを示している。この手法は周期内（マイクロモーション）のダイナミクスを活用し、中程度の駆動周波数において、従来のストロボスコピック制御を上回る性能を発揮する。

ABSTRACT

I demonstrate the potential of reinforcement learning (RL) to prepare quantum states of strongly periodically driven non-linear single-particle models. The ability of Q-Learning to control systems far away from equilibrium is exhibited by steering the quantum Kapitza oscillator to the Floquet-engineered stable inverted position in the presence of a strong periodic drive within several shaking cycles. The study reveals the potential of the intra-period (micromotion) dynamics, often neglected in Floquet engineering, to take advantage over pure stroboscopic control at moderate drive frequencies. Without any knowledge about the underlying physical system, the algorithm is capable of learning solely from tried protocols and directly from simulated noisy quantum measurement data, and is stable to noise in the initial state, and sources of random failure events in the control sequence. Model-free RL can provide new insights into automating experimental setups for out-of-equilibrium systems undergoing complex dynamics, with potential applications in quantum information, quantum optics, ultracold atoms, trapped ions, and condensed matter.

研究の動機と目的

• 強い駆動を受ける非線形1粒子系において、非平衡量子状態を準備する制御戦略を開発すること。
• モデルフリー強化学習が、システムのダイナミクスに関する事前知識がなくても、効果的な制御プロトコルを学習できるかどうかを調査すること。
• ストロボスコピック手法と比較して、周期内（マイクロモーション）ダイナミクスが制御性能をどのように向上させるかを評価すること。
• 初期状態のノイズおよび制御シーケンスにおけるランダム障害事象に対するロバスト性を評価すること。
• 超低温原子、捕獲イオン、量子情報応用分野における、非平衡量子系の自律的・データ駆動型制御を可能にすること。

提案手法

• モデルフリーのQ学習アルゴリズムを、ノイズを含む量子測定データを報酬信号として使用して訓練する。
• システムのモデルが不要な状態で、試行錯誤による相互作用から直接制御プロトコルを学習する。
• 制御行動を周期内時間スケールで適用し、ストロボスコピック平均だけでなくマイクロモーションダイナミクスを捉える。
• マイクロモーション効果が顕著で、利用可能な中程度の駆動周波数で動作する。
• 訓練中に初期状態のノイズと制御シーケンスにおけるランダム障害を導入し、ロバスト性をテストする。
• 学習プロセスは完全にエンドツーエンドであり、観測された測定結果とフィードバックにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリー強化学習が、システムの事前知識がなくても、駆動量子カピツァ振動子において安定した反転状態を自動的に準備できるか？
• RQ2 周期内ダイナミクスを組み込むことで、ストロボスコピック制御と比較して制御性能がどのように向上するか？
• RQ3 初期量子状態のノイズおよび制御シーケンスにおけるランダム障害に対して、RLベースの制御はどの程度ロバストか？
• RQ4 強い駆動を受けた量子系において、ノイズを含むシミュレーテッド測定データからRLが有効に学習できるか？
• RQ5 中程度の駆動周波数におけるFloquet工学において、マイクロモーションダイナミクスを用いることで得られる性能向上はどの程度か？

主な発見

• Q学習エージェントは、数サイクルのシェイキングで量子カピツァ振動子を安定した反転位置に導くことに成功し、高速かつ効果的な制御を実現した。
• 中程度の駆動周波数において、周期内マイクロモーションダイナミクスを活用することで、ストロボスコピック手法を上回る制御性能を達成した。
• 初期状態のノイズおよび制御シーケンスにおけるランダム障害に対してもロバストであるため、実用的実現可能性が示された。
• エージェントは、ハミルトニアンやシステムモデルの知識がなくても、シミュレーテッドノイズ測定データからのみ効果的な制御プロトコルを学習した。
• 従来のFloquet工学では無視されがちなマイクロモーションダイナミクスが、制御のリソースとして活用可能であることが示された。
• モデルフリー強化学習は、非平衡量子系における複雑な制御タスクの自動化に実用的である道筋を提供する。