[論文レビュー] Hybrid actor-critic algorithm for quantum reinforcement learning at CERN beam lines

Michael Schenk, Elías F. Combarro+5 more|arXiv (Cornell University)|Sep 22, 2022

Advancements in Semiconductor Devices and Circuit Design被引用数 4

ひとこと要約

本稿では、粒子加速器ビームラインにおける連続的状態-行動空間制御を目的として、古典的で深い決定的方策勾配（DDPG）のアクトロと、量子ボルツマンマシン（QBM）に基づくクリティックを統合したハイブリッド・アクタ・クリティック強化学習アルゴリズムを提案する。離散的行動環境における古典的DQNと比較して、より優れたサンプル効率を示し、シミュレーテッドおよびD-Wave量子アニーリングハードウェアを用いて、実際のAWAKE電子ビームラインに訓練済みエージェントを実際にデプロイした。ハイブリッドモデルにより、推論には古典的アクトロネットワークのみを必要とすることが可能となった。

ABSTRACT

Free energy-based reinforcement learning (FERL) with clamped quantum Boltzmann machines (QBM) was shown to significantly improve the learning efficiency compared to classical Q-learning with the restriction, however, to discrete state-action space environments. In this paper, the FERL approach is extended to multi-dimensional continuous state-action space environments to open the doors for a broader range of real-world applications. First, free energy-based Q-learning is studied for discrete action spaces, but continuous state spaces and the impact of experience replay on sample efficiency is assessed. In a second step, a hybrid actor-critic scheme for continuous state-action spaces is developed based on the Deep Deterministic Policy Gradient algorithm combining a classical actor network with a QBM-based critic. The results obtained with quantum annealing, both simulated and with D-Wave quantum annealing hardware, are discussed, and the performance is compared to classical reinforcement learning methods. The environments used throughout represent existing particle accelerator beam lines at the European Organisation for Nuclear Research (CERN). Among others, the hybrid actor-critic agent is evaluated on the actual electron beam line of the Advanced Plasma Wakefield Experiment (AWAKE).

研究の動機と目的

• 自由エネルギーに基づく強化学習（FERL）に量子ボルツマンマシン（QBM）を適用し、従来の離散的行動空間に限られていたものを連続的状態-行動空間へ拡張することで、加速器制御分野における広範な実世界応用を可能にすること。
• 古典的ディープ強化学習とQBMに基づくクリティックを組み合わせたハイブリッド・アクタ・クリティックアーキテクチャを構築し、複雑なビームライン環境における連続的制御タスクに適用すること。
• シミュレーテッド量子アニーリングおよび実際のD-Wave量子アニーリングハードウェアを用いて、ハイブリッド量子-古典的RLエージェントのサンプル効率および性能を、古典的ベースラインと比較して評価すること。
• CERNの実際のAWAKE電子ビームライン上で、訓練済みエージェントのシミュレーションから実環境への転送能力を検証すること。
• 推論段階で量子ハードウェアを必要とせず、古典的アクトロネットワークのみを用いることで、実世界への統合を簡素化できるという実用的デプロイの可能性を示すこと。

提案手法

• ハイブリッド・アクタ・クリティックフレームワークは、DDPGにおける古典的クリティックを、クラamped量子ボルツマンマシン（QBM）に置き換え、自由エネルギー最小化を用いてQ値を推定する。
• QBMクリティックは、自由エネルギーに基づく強化学習（FERL）を用いて訓練され、Q関数の近似を求めるために量子アニーリングが活用される。
• 離散的行動フェーズでは、特に連続的状態空間において、サンプル効率を向上させるために経験リプレイが組み込まれている。
• アルゴリズムは、まず連続的状態と離散的行動を有する一次元ビームステアリングタスクで検証された後、10次元の連続的状態-行動空間にスケーリングされた。
• 訓練は、シミュレーテッド量子アニーリング（SQA）および実際のD-Waveアドバンス量子アニーリングハードウェアを用いて実施され、性能差を評価した。
• 推論段階では、量子ハードウェアを必要とせず、古典的アクトロネットワークのみが使用されるため、加速器制御室への実用的統合が可能となった。

実験結果

リサーチクエスチョン

• RQ1 自由エネルギーに基づく強化学習（FERL）にQBMクリティックを適用し、従来の離散的行動空間に限られていたものを連続的状態-行動空間へ拡張できるか？
• RQ2 経験リプレイの導入が、離散的行動を伴う連続的状態空間におけるFERLのサンプル効率に与える影響は何か？
• RQ3 ハイブリッド量子-古典的アクタ・クリティックモデルは、連続的制御タスクにおいて、古典的DDPGを上回るサンプル効率および収束速度を達成できるか？
• RQ4 シミュレーテッド量子アニーリングと実際のD-Wave量子アニーリングハードウェアとの間で、ハイブリッドエージェントの訓練において性能差は生じるか？
• RQ5 シミュレーションで訓練されたハイブリッドエージェントは、実世界のAWAKE電子ビームライン環境に実際に転送され、信頼性を持って動作できるか？

主な発見

• 離散的行動、連続的状態のTT24-T4陽子ビームラインタスクにおいて、FERLにQBMクリティックを適用した手法は、経験リプレイの有無に関わらず、古典的DQNよりも顕著に高いサンプル効率を達成した。
• 経験リプレイの導入により、離散的行動設定におけるサンプル効率がさらに向上し、報酬目標に到達するまでの相互作用回数が削減された。
• ハイブリッド・アクタ・クリティックモデルは、シミュレーションおよび実環境の両方で、AWAKE電子ビームラインにおける10次元連続的状態-行動制御問題を正常に解決した。
• D-Wave量子アニーリングハードウェアで訓練されたエージェントは、SQAで訓練されたエージェントに比べてわずかに優れた平均性能を示し、特に最終的な報酬分布とステップ数効率の面で顕著であった。
• SQAおよびD-Waveで訓練された両エージェントは、追加のファインチューニングなしにシミュレーションから実環境のAWAKEビームラインに一般化でき、強固なシミュレーションから実環境への転送能力を示した。
• D-Waveハードウェアを用いた実環境での実行において、1つの初期状態に対して訓練済みハイブリッドエージェントがタスクを達成できなかったが、これは限られたQPU時間による訓練収束の不完全さが原因であると想定される。