[論文レビュー] Reinforcement-learning based matterwave interferometer in a shaken optical lattice

Liang-Ying Chih, Murray Holland|arXiv (Cornell University)|Jun 21, 2021

Cold Atom Physics and Bose-Einstein Condensates参考文献 38被引用数 33

ひとこと要約

本論文は、揺らされる光格子内の matterwave 乾渉計の強化学習（RL）ベースの設計を提案し、RL を用いてビームスプリッター、ミラー、再結合器を模倣する格子の振動プロトコルを最適化する。この手法は、標準的なブレッグ乾渉計よりも加速度に対する感度が高く、複雑なマルチパス系における高性能な量子センサーの構築における RL の可能性を示している。

ABSTRACT

We demonstrate the design of a matterwave interferometer to measure acceleration in one dimension with high precision. The system we base this on consists of ultracold atoms in an optical lattice potential created by interfering laser beams. Our approach uses reinforcement learning, a branch of machine learning, that generates the protocols needed to realize lattice-based analogs of optical components including a beam splitter, a mirror, and a recombiner. The performance of these components is evaluated by comparison with their optical analogs. The interferometer's sensitivity to acceleration is quantitatively evaluated using a Bayesian statistical approach. We find the sensitivity to surpass that of standard Bragg interferometry, demonstrating the future potential for this design methodology.

研究の動機と目的

• 超低温原子を用いた一次元の加速度センシングに適した高精度な matterwave 乾渉計の開発を目的とする。
• マルチパス乾渉計のための複雑な量子制御プロトコルを設計するにあたり、直感的または古典的最適化手法の限界を克服することを目的とする。
• モデルフリーの強化学習を用いて、揺らされる格子内のビームスプリッター、ミラー、再結合器の非直感的で高忠実度の制御プロトコルを発見することを目的とする。
• ベイズ統計的手法を用いて加速度への感度を定量的に評価し、乾渉計の性能を評価することを目的とする。
• RL で設計されたプロトコルが、従来のブレッグ乾渉計を上回る感度を達成できることを示すこと

提案手法

• モデルフリーのディープ強化学習（DDQN）を用い、格子の揺らしに最適な時間依存位相変調関数 φ(t) を学習する。
• 状態を関連する運動量部分空間（例：|±4ℏkL⟩）における時間発展演算子の行列要素として定義する。
• 行動を特徴振動数 12ωr における正弦位相変調の離散的振幅として定義する。
• 目標ユニタリ操作（例：ビームスプリッターまたはミラー操作）への忠実度に基づく報酬関数を用い、学習を誘導する。
• Adam 最適化子と経験再生を用いた、二重深層Qネットワーク（DDQN）アルゴリズムによりエージェントを訓練する。
• 加速度への感度を定量的に評価するために、ベイズ統計的推論を用いて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、揺らされる光格子内の matterwave 乾渉計部品（ビームスプリッター、ミラー、再結合器）に対して高忠実度の制御プロトコルを発見できるか？
• RQ2 RL で設計された乾渉計は、標準的なブレッグ乾渉計よりも加速度への感度が高いか？
• RQ3 モデルフリーの RL は、人間の直感的設計や古典的最適化手法に比べて、複雑なマルチパス量子乾渉計の設計において優れた性能を示せるか？
• RQ4 制御周波数（例：12ωr）の選択が、ミラーおよびビームスプリッター部品の性能にどのように影響するか？
• RQ5 RL で設計された乾渉計の達成可能な感度は何か？ また、既存のベンチマークと定量的に比較するとどうなるか？

主な発見

• RL で設計された乾渉計は、標準的なブレッグ乾渉計を上回る加速度への感度を達成しており、顕著な性能優位性を示している。
• 固定振幅変調下でも、ビームスプリッターおよびミラー部品のチャネル忠実度が最大 0.8 に達し、さらに RL 最適化により向上した。
• 最適な揺らしプロトコルは非直感的であることが判明し、RL が人間の設計バイアスを超えた新規な解決策を発見できる能力を示している。
• ベイズ統計的フレームワークの使用により、乾渉計の高精度が確認され、最小検出可能な加速度という観点から感度が定量的に評価された。
• RL は、Bloch 状態の豊かなダイナミクスを活用する制御戦略を学習することで、揺らされる格子のマルチパス性を効果的に活用した。
• ハイパーパramータチューニング（例：学習率 α=0.001、γ=0.99）により、8,000～20,000 エピソードの範囲で安定した訓練と収束が達成された。