[論文レビュー] Quantum Reinforcement Learning for Solving a Stochastic Frozen Lake Environment and the Impact of Quantum Architecture Choices

Theodora-Augustina Drăgan, Maureen Monnet+2 more|arXiv (Cornell University)|Dec 15, 2022

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

本稿では、確率的で滑りやすい4×4のFrozen Lake環境を解けるように、古典的ニューラルネットワークの代わりにパラメータ化された量子回路（PQC）を用いたハイブリッド量子古典PPOエージェントを提案する。複数の量子回路アーキテクチャを評価した結果、すべてのPQCが優れた性能を示したが、訓練ステップを最大で3分の1に削減し、パrameter数も3分の1にまで減少した。しかし、量子回路の指標（表現性、エンタングルメント能力、有効次元）と強化学習性能との間に明確な相関は認められず、回路設計は実験的に決定される必要があることが示唆された。

ABSTRACT

Quantum reinforcement learning (QRL) models augment classical reinforcement learning schemes with quantum-enhanced kernels. Different proposals on how to construct such models empirically show a promising performance. In particular, these models might offer a reduced parameter count and shorter times to reach a solution than classical models. It is however presently unclear how these quantum-enhanced kernels as subroutines within a reinforcement learning pipeline need to be constructed to indeed result in an improved performance in comparison to classical models. In this work we exactly address this question. First, we propose a hybrid quantum-classical reinforcement learning model that solves a slippery stochastic frozen lake, an environment considerably more difficult than the deterministic frozen lake. Secondly, different quantum architectures are studied as options for this hybrid quantum-classical reinforcement learning model, all of them well-motivated by the literature. They all show very promising performances with respect to similar classical variants. We further characterize these choices by metrics that are relevant to benchmark the power of quantum circuits, such as the entanglement capability, the expressibility, and the information density of the circuits. However, we find that these typical metrics do not directly predict the performance of a QRL model.

研究の動機と目的

• 困難な確率的Frozen Lake環境の変種を解けるハイブリッド量子古典強化学習モデルの開発を目的とする。
• 異なるパラメータ化された量子回路（PQC）アーキテクチャが量子強化学習（QRL）の性能に与える影響を評価すること。
• 既存の量子回路指標（表現性、エンタングルメント能力、有効次元）がQRL性能を予測できるかどうかを調査すること。
• 標準的指標からの理論的予測が困難であることを踏まえ、QRLにおける量子回路設計の実証的指針を提供すること。

提案手法

• ポリシーネットワークをパラメータ化された量子回路（PQC）に置き換えたハイブリッド量子古典PPOアルゴリズムを実装した。
• PPOエージェントは、80％の確率で意図した方向に移動し、20％の確率で直交方向に移動する確率的4×4 Frozen Lake環境で訓練された。
• 文献で提唱されたハードウェア効率や問題固有のサブルーチンに基づく6種類の異なるPQCアーキテクチャを評価した。
• 量子回路の性能は、表現性、エンタングルメント能力、有効次元（ED）の3つの指標を用いて測定され、古典モデルとの比較が可能になった。
• 訓練はシミュレーションを用いて実施され、性能は最大リターン（MR）と訓練収束時間（TTC）で測定された。
• 結果は、異なるPQC設計における量子回路指標とRL性能との相関関係を評価するために分析された。

実験結果

リサーチクエスチョン

• RQ1 古典的ポリシーネットワークをパラメータ化された量子回路に置き換えることで、確率的強化学習環境における性能が向上するか？
• RQ2 どの量子回路アーキテクチャが確率的Frozen Lake環境の解決において最高の性能を示すか？
• RQ3 標準的量子回路指標（表現性、エンタングルメント能力、有効次元）が量子強化学習エージェントの性能をどの程度予測できるか？
• RQ4 なぜ一部の理論的指標が低い量子回路が、他の指標が高い回路よりも実際には優れた性能を示すのか？
• RQ5 量子強化カーネルを用いることで、トレーニング可能なパrameter数を削減し、収束を加速できるか？

主な発見

• ハイブリッド量子古典PPOモデルは、確率的4×4 Frozen Lake環境を正常に解き、古典モデルと同等の最大リターンを達成した。
• 量子強化エージェントは、古典的ベースラインと比較して約3分の1の訓練ステップで収束した。
• 量子回路は、古典モデルのトレーニング可能なパrameter数を約3分の1にまで削減した。
• 回路6は最高の最大リターンを達成し、表現性と有効次元でも最高ランクを獲得したが、すべての指標と性能指標との間に一貫した相関は認められなかった。
• 表現性やエンタングルメント能力が同程度または優れている回路（例：回路13）が、他の回路（例：回路6）よりも性能が劣ることから、指標だけでは性能を予測できないことが示された。
• エンタングルゲートの配置が性能に顕著な影響を及ぼしており、この要因は3つの指標では捉えられていないため、追加のアーキテクチャ設計要因が関与している可能性がある。