[論文レビュー] Variational Quantum Soft Actor-Critic

Qingfeng Lan|arXiv (Cornell University)|Dec 20, 2021

Quantum Computing Algorithms and Architecture被引用数 15

ひとこと要約

本論文は、変分量子回路（VQC）と古典的ニューラルネットワークを組み合わせてポリシー・ネットワークを構成するハイブリッド量子古典強化学習アルゴリズム、Variational Quantum Soft Actor-Critic（QuantumSAC）を提案する。Pendulum-v0環境において、1,250対41という著しい少ない可学習パラメータ数で、古典的Soft Actor-Critic（SAC）と同等の性能を達成し、パrameter効率における量子優位性を示した。

ABSTRACT

Quantum computing has a superior advantage in tackling specific problems, such as integer factorization and Simon's problem. For more general tasks in machine learning, by applying variational quantum circuits, more and more quantum algorithms have been proposed recently, especially in supervised learning and unsupervised learning. However, little work has been done in reinforcement learning, arguably more important and challenging. Previous work in quantum reinforcement learning mainly focuses on discrete control tasks where the action space is discrete. In this work, we develop a quantum reinforcement learning algorithm based on soft actor-critic -- one of the state-of-the-art methods for continuous control. Specifically, we use a hybrid quantum-classical policy network consisting of a variational quantum circuit and a classical artificial neural network. Tested in a standard reinforcement learning benchmark, we show that this quantum version of soft actor-critic is comparable with the original soft actor-critic, using much less adjustable parameters. Furthermore, we analyze the effect of different hyper-parameters and policy network architectures, pointing out the importance of architecture design for quantum reinforcement learning.

研究の動機と目的

• 量子強化学習においてまだ十分に検討が進んでいない連続的制御タスク向けに、量子強化学習アルゴリズムを開発すること。
• 最新のSoft Actor-Critic（SAC）フレームワークに、変分量子回路（VQC）を統合すること。
• 量子強化されたポリシー・ネットワークが、モデルのパラメータ数を削減しながらも、古典的SACの性能を再現できるかどうかを評価すること。
• 特に層数とデータ再アップロードの有無に注目したVQCアーキテクチャ設計が、学習性能と安定性に与える影響を調査すること。

提案手法

• 状態埋め込みを処理する変分量子回路（VQC）と、行動を出力する古典的順方向型ニューラルネットワークを組み合わせたハイブリッド量子古典ポリシー・ネットワークを提案する。
• 入力状態を複数の層にわたり繰り返しエンコードすることで表現力を高める、データ再アップロード型VQCアーキテクチャを採用する。
• 古典的ポリシー・ネットワークをハイブリッド量子古典ネットワークに置き換えることで、Soft Actor-Critic（SAC）アルゴリズムを適応させ、SACの最大エントロピー目的を維持する。
• 訓練の安定性を確保するため、経験リプレイとターゲットネットワークを用い、ハイパーパramータはグリッドサーチにより調整する。
• Adam最適化を採用し、ポリシーとQネットワークそれぞれに別々の学習率を設定する。また、温度係数αは固定値0.2を用いる。
• 最後の10回の訓練エピソードにおける平均報酬を性能指標とし、10回のランダムシードで平均化し、指数平滑化を適用して平滑化する。

実験結果

リサーチクエスチョン

• RQ1 SACに統合された変分量子回路は、連続的制御タスクにおいて、古典的SACと同等の性能を達成できるか？
• RQ2 量子ポリシー・ネットワークの使用により、サンプル効率や性能を損なわずに、可学習パラメータ数を削減できるか？
• RQ3 VQCのアーキテクチャ設計、特にバニラVQCとデータ再アップロードVQCの違いが、学習性能と安定性に与える影響は何か？
• RQ4 VQCの層数を増加させることで、ポリシー性能と分散にどのような影響が生じるか？

主な発見

• データ再アップロード型VQC（n=2層）を用いたQuantumSACは、50,000ステップ経過後、平均報酬が約1400に達し、古典的SACとほぼ同等の性能を示した。
• 量子ポリシー・ネットワークはわずか41の可学習パラメータを必要とし、古典的SACの1,250パラメータと比較して96.7%も削減された。
• バニラVQCアーキテクチャでは、古典的SACおよびデータ再アップロード型VQCの両方の性能を下回り、量子RLにおけるアーキテクチャ設計の重要性が示された。
• 両アーキテクチャにおいて、VQCの層数を増やすことで性能が向上したが、データ再アップロード型VQCでは2層を越えると効果の逓減が見られたため、最適なポリシー表現には2層程度で十分である可能性がある。
• データ再アップロード型VQCは、同じパラメータ数でもバニラVQCに比べて報酬の分散が小さく、訓練の安定性が向上していることが示された。
• これらの結果は、VQCのアーキテクチャ設計、特にデータ再アップロードの有無が、性能に顕著な影響を与えることを示しており、古典的ディープラーニングの知見が量子ニューラルネットワーク設計にも応用可能である可能性を示唆している。