[論文レビュー] Manipulation of Spin Dynamics by Deep Reinforcement Learning Agent

Junjie Chen, Ming Xue|arXiv (Cornell University)|Jan 25, 2019

Constraint Satisfaction and Optimization参考文献 1被引用数 6

ひとこと要約

本稿では、スピン-1原子系における双子Fock状態の準備のための制御場を最適化するために、プロキシマルポリシー最適化（PPO）を用いた深層強化学習（DRL）手法を提案する。DRLエージェントは、連続的制御空間において確率的で物理的に解釈可能なポリシーを学習し、従来の断熱的通過法やグリーディー法を上回る性能を示し、ノイズに対して頑健であり、粒子数の変動に対しても一般化性を示す。

ABSTRACT

We implement the reinforcement learning agent for a spin-1 atomic system to prepare spin squeezed state from given initial state. Proximal policy gradient (PPO) algorithm is used to deal with continuous external control field and final optimized protocol is given by a stochastic policy. In both mean-field system and two-body quantum system, RL agent finds the optimal policies. In many-body quantum system, it also gives polices that outperform purely greedy policy and optimized adiabatic passage. These polices given by RL agent have good physical interpretability in phase space and may help us to understand quantum dynamics. In fact, RL could be highly versatile in quantum optimal control problems.

研究の動機と目的

• 多数体系における量子スピンダイナミクスの最適制御のためのモデルフリーでデータ駆動のアプローチを開発すること。
• 高次元かつ完全に制御できない系において、従来の最適制御手法の限界を克服すること。
• 深層強化学習を用いて、スピン-1原子系における双子Fock状態の準備の忠実度と速度を向上させること。
• 異なる粒子数やノイズ条件においても、ポリシーの頑健性と一般化能力を向上させること。
• 物理的ダイナミカルシステムを標準的な強化学習タスクにマッピングする一般的なフレームワークを確立すること。

提案手法

• 状態特徴はスピン分布や位相といった物理的観測量から導出されたマーカフ決定過程（MDP）として系をモデル化する。
• 連続的制御場を扱い、確率的ポリシーを学習するために、DDPGにインspiredされたPPOアルゴリズムを用いる。
• 行動空間は時間に依存する磁場制御場を表し、状態空間は集団的スピン演算子と位相情報によって定義される。
• 状態忠実度を最大化するために、密集的かつスパースな報酬関数を設計し、学習効率を向上させるための報酬形状を追加する。
• 経験リプレイと価値関数近似を用いてエージェントを訓練することで、長期的な累積報酬の最大化を可能にする。
• ヒルバート空間内の局所最適解を避けるために、複数の初期状態を用いて訓練することで、探索性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、スピン-1系における双子Fock状態の準備において、従来の断熱的およびグリーディー制御プロトコルを上回ることができるか？
• RQ2 RLエージェントによる位相空間探索から、学習されたポリシーの物理的解釈可能性はどのように生じるか？
• RQ3 RLポリシーは、異なる粒子数にわたってどの程度一般化可能であり、ノイズ条件下でも頑健性を示すか？
• RQ4 状態表現は、物理的解釈可能性と効果的な学習を可能にする上でどのような役割を果たすか？
• RQ5 高次元量子系において、部分最適ポリシーを避けるために、探索をどのように強化できるか？

主な発見

• PPOに基づくRLエージェントは、最適化された断熱的線形ラップと純粋なグリーディー法を上回り、双子Fock状態の準備で忠実度 >0.999 を達成する。
• ランダムな初期状態で学習したポリシー（πg）は、単一の初期状態で学習したポリシー（πs）よりも、N > 10 の大きな系に優れた一般化性能を示す。
• RLポリシーはガウス白色ノイズ（σ = 0.1|c₂|）に対しても頑健であり、100件のサンプリング軌道における忠実度の標準偏差が小さく抑えられている。
• 制御プロトコルは明確な物理的解釈可能性を示している：初期のラビ振動、中間の位相調整、最終的なダイナミクスの停止。
• エージェントは、初期段階の進行が遅いにもかかわらず、短期的および長期的報酬のバランスの取れたトレードオフを学習し、グリーディー行動を避ける。
• 物理的観測量を状態特徴として用いることで、部分空間（N < 10）への一般化が可能になり、大規模系へのポリシーの転送性が向上する。