[論文レビュー] Parametrized Quantum Policies for Reinforcement Learning

Sofiène Jerbi, Casper Gyurik+3 more|arXiv (Cornell University)|Mar 9, 2021

Quantum Computing Algorithms and Architecture被引用数 10

ひとこと要約

本論文は、パラメータ化された量子回路（PQC）をポリシーとして用いるハイブリッド量子古典リーマン強化学習フレームワークを提案し、標準的なOpenAI Gym環境における有効な学習と、古典的に困難な離散対数問題に基づくタスクにおける形式的な量子優位性を示している。著者らは、PQCが、広く受け入れられた複雑性理論的仮定のもとで、古典的モデル（包括して最先端の深層ニューラルネットワーク）が処理できない特定の強化学習タスクを解けることを証明している。

ABSTRACT

With the advent of real-world quantum computing, the idea that parametrized quantum computations can be used as hypothesis families in a quantum-classical machine learning system is gaining increasing traction. Such hybrid systems have already shown the potential to tackle real-world tasks in supervised and generative learning, and recent works have established their provable advantages in special artificial tasks. Yet, in the case of reinforcement learning, which is arguably most challenging and where learning boosts would be extremely valuable, no proposal has been successful in solving even standard benchmarking tasks, nor in showing a theoretical learning advantage over classical algorithms. In this work, we achieve both. We propose a hybrid quantum-classical reinforcement learning model using very few qubits, which we show can be effectively trained to solve several standard benchmarking environments. Moreover, we demonstrate, and formally prove, the ability of parametrized quantum circuits to solve certain learning tasks that are intractable to classical models, including current state-of-art deep neural networks,<br> under the widely-believed classical hardness of the discrete logarithm problem.

研究の動機と目的

• 標準的なベンチマーク環境における成功した量子強化学習モデルの不足に対処すること。
• パラメータ化された量子回路（PQC）が、古典的モデルが処理できない強化学習タスクを解けることを示すこと。
• 離散対数問題が古典的に困難であるという仮定の下で、PQCが古典的学習者（包括して深層ニューラルネットワーク）に対して形式的な学習優位性を示すこと。
• REINFORCEなどの古典的ポリシー勾配法を用いて訓練されるPQCポリシーを用いた量子強化学習フレームワークを設計すること。
• OpenAI Gym環境における数値的検証と、離散対数問題に基づく、証明可能に困難な強化学習タスクの構築

提案手法

• 著者らは、ポリシー πθ(a|s) をパラメータ化された量子回路（PQC）として実装し、ポリシーのパラメータ θ をREINFORCEのような古典的ポリシー勾配アルゴリズムにより最適化するハイブリッド量子古典強化学習エージェントを設計した。
• 表現力の向上と、小規模な量子ハードウェアにおける有効な学習を可能にするために、トレーニング可能な観測量重みと入力スケーリングパラメータを備えたデータ再アップロード回路を採用した。
• 量子プロセッシングユニット（QPU）を用いてPQCとその勾配 ∇θ log πθ を評価し、量子ポリシーのエンドツーエンド微分可能学習を実現した。
• 理論的分析により、離散対数問題（DLP）に基づく強化学習環境を構築し、DLPの困難さを報酬構造に埋め込むことで、PQCポリシーと任意の効率的古典的学習者との間の明確な性能差を証明した。
• 最適化プロセスの成功確率に関する確率的境界を導出し、高い確率（1−δ）で、学習されたポリシーがDLPに基づくタスクを高い精度で解けることを示した。
• 離散対数問題が古典的に困難であるという仮定のもとで、PQCポリシーの性能を凌駆できるような効率的古典的学習者は存在しないことを形式的に証明し、理論的量子優位性を確立した。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された量子回路（PQC）は、OpenAI Gymのような標準的な強化学習環境で、ポリシーとして有効に訓練可能か？
• RQ2 PQCをRLに用いることで、特定のタスクにおいて古典的深層ニューラルネットワークポリシーに比べて測定可能な学習優位性が得られるか？
• RQ3 離散対数問題が古典的に困難であると仮定した場合、PQCは、古典的モデルが証明的に処理不能な強化学習タスクを解けるか？
• RQ4 PQCアーキテクチャにおける設計選択（例：データ再アップロード、観測量重み）は、RLにおける学習性能と収束にどのように影響を与えるか？
• RQ5 離散対数問題のような古典的に困難な問題に還元することで、RLにおける形式的な量子優位性を証明できるか？

主な発見

• 提案されたPQCベースのポリシーは、CartPole や FrozenLake などの標準的なOpenAI Gymベンチマークで、標準的な深層ニューラルネットワークポリシーと同等の性能を達成した。
• 本手法は、数量子ビットの環境でもPQCポリシーの学習に成功し、近い将来の量子ハードウェアにおける実現可能性を示した。
• 著者らは、離散対数問題（DLP）に基づく強化学習環境を構築し、PQCは高い確率でタスクを解けるが、古典的モデルは解けないことを示した。
• 離散対数問題が古典的に困難であるという仮定のもとで、PQCポリシーの性能を凌駆できるような効率的古典的学習者は存在しないことを形式的に証明し、証明可能な量子優位性を確立した。
• 高い確率（1−δ）で、最適化アルゴリズムは、真の値からε以内の推定離散対数を持つポリシー・パラメータ g^s′ を返し、分類精度が ≥1−ε に達する。
• 理論的境界により、十分な訓練サンプルと回路評価回数があれば、PQCポリシーは高い信頼性で任意の高精度に達することができ、このアプローチのスケーラビリティと頑健性を確認した。