[論文レビュー] Quantum reinforcement learning in continuous action space

Shaojun Wu, Shan Jin+3 more|arXiv (Cornell University)|Dec 19, 2020

Quantum Computing Algorithms and Architecture参考文献 5被引用数 30

ひとこと要約

量子 Deep Deterministic Policy Gradient (DDPG) フレームワークを導入して連続作用空間における強化学習を解決し、量子状態生成と一回のポリシー学習を用いた固有値問題に適用する。

ABSTRACT

Quantum reinforcement learning (QRL) is a promising paradigm for near-term quantum devices. While existing QRL methods have shown success in discrete action spaces, extending these techniques to continuous domains is challenging due to the curse of dimensionality introduced by discretization. To overcome this limitation, we introduce a quantum Deep Deterministic Policy Gradient (DDPG) algorithm that efficiently addresses both classical and quantum sequential decision problems in continuous action spaces. Moreover, our approach facilitates single-shot quantum state generation: a one-time optimization produces a model that outputs the control sequence required to drive a fixed initial state to any desired target state. In contrast, conventional quantum control methods demand separate optimization for each target state. We demonstrate the effectiveness of our method through simulations and discuss its potential applications in quantum control.

研究の動機と目的

• 連続作用空間を離散化による次元の問題に陥らせずに、量子問題へ RL を適用する課題を動機づけ、解決する。
• ポリシーと価値関数を表現するために変分量子ニューラルネットワークを用いる量子DDPGフレームワークを提案する。
• 一回の最適化で、初期状態を任意のターゲット状態へ導くポリシーを生成できるモデルを作成できることを示す。
• 量子状態生成と固有状態問題への適用を示し、従来の量子制御や VQE 手法よりも有利な点を強調する。

提案手法

• 古典的な RL 要素を量子環境レジスタとパラメータ化された作用ユニタリ U_a(θ_t) で量子成分に写像する。
• 変分量子回路（VQC）をポリシー-QNNと価値-QNNとして用い、連続作用空間でのポリシーと Q 関数を近似する。
• 経験再放出とターゲットネットワークを用いた訓練を、四つの QNN（ポリシー、値、及びそれらのターゲット）を伴う量子DDPG手順に従って行う。
• 初期状態からターゲット状態へ環境を駆動する一連のユニタリゲートを生成する最適ポリシーを構築し、一回のモデル構築を可能にする。
• CAS では環境状態を振幅にエンコードして離散化を回避し、学習済みの一回のポリシーを用いて制御列を出力する；DAS では量子 DQN の派生形を用いることができる。

実験結果

リサーチクエスチョン

• RQ1 量子強化学習アルゴリズムは CAS 問題に対して古典的な対照と比較して指数的または二次的の加速を提供できるか？
• RQ2 量子 DDPG フレームワークは連続作用空間での量子状態生成と固有状態問題を離散化なしに効果的に解決できるか？
• RQ3 QRL モデルを学習する一回の最適化は、量子制御タスクにおいて任意の初期状態を望ましいターゲット状態へ駆動するのに十分か？
• RQ4 量子ニューラルネットワーク（ポリシー-QNNと Q-QNN）は、量子環境における安定した学習と正確なポリシー/値推定をどのように可能にするか？

主な発見

• 量子 DDPG フレームワークは、制御ユニタリの列を出力するポリシーを学習することで連続作用空間の量子状態生成を解決可能である。
• 1量子ビットターゲットの場合、訓練後に t=50 で p50 ≥ 0.99、Δ(p50) ≤ 4.47×10^-5 を達成。
• 2量子ビットターゲットの場合、訓練後に t=50 で p50 ≥ 0.98、Δ(p50) ≤ 4.04×10^-7 を達成。
• 1量子ビットおよび2量子ビットのハamiltonians に対する固有値問題に対する基底状態への収束も効果的で、1量子ビットで p50 ≥ 0.99、2量子ビットで p50 ≥ 0.98、分散は小さい。
• 従来の量子制御法とは異なり、ターゲット状態ごとに再最適化することなく任意の状態生成を可能とする QRL モデル構築を一回の最適化で実現する。
• 未知のターゲット状態を、未知状態のコピーが与えられたときに適切な制御列を出力して再構成できる。