[論文レビュー] Introduction to Quantum Reinforcement Learning: Theory and PennyLane-based Implementation

Yunseok Kwak, Won Joon Yun+3 more|arXiv (Cornell University)|Aug 16, 2021

Quantum Computing Algorithms and Architecture被引用数 8

ひとこと要約

この論文は、PennyLaneを用いて、変分量子回路（VQC）に基づく量子強化学習（QRL）モデルを紹介し、CartPole環境におけるプロキシマルポリシー最適化（PPO）フレームワークを実装している。量子ポリシーが高リワード分散にもかかわらず効果的な制御ポリシーを学習できることを示しており、小規模な量子回路を用いたQRLの可能性と課題を浮き彫りにしている。

ABSTRACT

The emergence of quantum computing enables for researchers to apply quantum circuit on many existing studies. Utilizing quantum circuit and quantum differential programming, many research are conducted such as extit{Quantum Machine Learning} (QML). In particular, quantum reinforcement learning is a good field to test the possibility of quantum machine learning, and a lot of research is being done. This work will introduce the concept of quantum reinforcement learning using a variational quantum circuit, and confirm its possibility through implementation and experimentation. We will first present the background knowledge and working principle of quantum reinforcement learning, and then guide the implementation method using the PennyLane library. We will also discuss the power and possibility of quantum reinforcement learning from the experimental results obtained through this work.

研究の動機と目的

• 変分量子回路（VQC）を用いた量子強化学習（QRL）を、深層強化学習の拡張として導入すること。
• PennyLaneの量子機械学習ライブラリを用いたQRLの実装ガイドを提供すること。
• CartPole-v0環境を用いた古典的シミュレーション環境において、QRLの実現可能性とパフォーマンスを評価すること。
• ランダムベースラインと比較して、量子ポリシーの学習行動を評価し、安定性と探索のトレードオフを明らかにすること。

提案手法

• QRLモデルは、PPOにおける深層ニューラルネットワークポリシーを、PennyLaneで実装されたパラメータ化された量子回路（VQC）に置き換える。
• VQCは、状態観測値（位置、速度、角度、角速度）を連続入力として処理し、[−π, π]の範囲にマッピングし、1キュービット回転を用いて符号化する。
• 量子回路は2つの行動（左/右）の測定確率を出力し、ソフトマックス関数を用いて行動をサンプリングする。
• ポリシーのパラメータは、量子ポリシー用に1e-3、古典的クリティック用に1e-5の学習率で最適化されるAdam最適化手法を用いる。
• 学習には、割引率γ = 0.98とベースラインλ = 0.95を用いた報酬関数を採用し、DQNから適応された経験再生とターゲットネットワーク技術を適用する。
• 実装はPyTorchテンソルとPennyLaneにおける自動微分を活用し、エンドツーエンドの勾配ベース最適化を実現する。

Figure 1: A policy-VQC for deep-Q learning with parameter $\theta$ .

実験結果

リサーチクエスチョン

• RQ1 変分量子回路は、強化学習フレームワークにおけるポリシーネットワークとして効果的に機能するか？
• RQ2 CartPole環境において、量子ポリシーのパフォーマンスはランダムポリシーと比べてどのように異なるか？
• RQ3 ノイズが多く、確率的測定が行われる量子測定下で、量子強化学習の安定性と収束特性はいかなるものか？
• RQ4 古典的ディープネットワークと比較して、パrameterが少ない状況でも、量子ポリシーは効果的な探索を可能にするか？
• RQ5 量子系の不確実性のため、QRLで高いパフォーマンスを維持する上で直面する主な課題は何か？

主な発見

• 量子強化学習モデルは、CartPole環境でポールをバランスさせるのを効果的に学習し、ランダムベースラインと比較して顕著に高い平均累積報酬を達成した。
• 学習過程において、報酬のエピソードごとの分散が非常に高かったため、量子測定の不確実性と確率的出力による不安定性が示された。
• 高分散にもかかわらず、ポリシーは効果的な制御戦略へ収束しており、量子回路が意味のある意思決定ポリシーを符号化できることを示している。
• 4キュービットの小さなVQCを用いることで、比較的少ないパラメータ数で学習が可能であり、量子ポリシースペースにおける効率的な探索の可能性を示唆している。
• 量子ポリシーのパフォーマンスは、最先端の古典的DRLベースラインに及ばないが、将来的な改善の可能性は明確であり、誤り低減技術とハードウェアの向上が鍵となる。

Figure 2: Quantum Reinforcement Learning System