[論文レビュー] Quantum Policy Iteration via Amplitude Estimation and Grover Search -- Towards Quantum Advantage for Reinforcement Learning

Simon Wiedemann, Daniel Hein+2 more|arXiv (Cornell University)|Jun 9, 2022

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

本稿では、振幅推定とグローバー探索を組み合わせることで、ポリシー評価における古典的モンテカルロ法に比べて2乗のサンプル複雑度の改善を達成する量子強化学習アルゴリズムを提案する。有限マルコフ決定過程のユニタリ表現を構築することで、量子ポリシー反復が可能となり、最適ポリシーを特定するのに必要なエージェント-環境相互作用の回数を実際に削減できることを証明できる。

ABSTRACT

We present a full implementation and simulation of a novel quantum reinforcement learning method. Our work is a detailed and formal proof of concept for how quantum algorithms can be used to solve reinforcement learning problems and shows that, given access to error-free, efficient quantum realizations of the agent and environment, quantum methods can yield provable improvements over classical Monte-Carlo based methods in terms of sample complexity. Our approach shows in detail how to combine amplitude estimation and Grover search into a policy evaluation and improvement scheme. We first develop quantum policy evaluation (QPE) which is quadratically more efficient compared to an analogous classical Monte Carlo estimation and is based on a quantum mechanical realization of a finite Markov decision process (MDP). Building on QPE, we derive a quantum policy iteration that repeatedly improves an initial policy using Grover search until the optimum is reached. Finally, we present an implementation of our algorithm for a two-armed bandit MDP which we then simulate.

研究の動機と目的

• 量子アルゴリズムを用いてサンプル複雑度を低減することで、強化学習における証明可能な量子優位性を示すこと。
• 古典的なサブルーチンを量子プリミティブに置き換える完全な量子ポリシー反復フレームワークの開発。
• 状態、行動、報酬を重ね合わせ状態に表現するユニタリ演算子を用いて、有限MDPの量子機械的実装を形式化すること。
• 振幅推定を用いた量子ポリシー評価（QPE）が、古典的モンテカルロ推定に比べて2乗の高速化を達成することの証明。
• 2腕のバンディットMDPに対するシミュレーションを通じて、量子ポリシー反復の収束性と効率性を検証すること。

提案手法

• エージェント-環境相互作用をキュービット状態上の量子操作としてエンコードする、有限MDPのユニタリ表現を構築する。
• 振幅推定を用いて、古典的モンテカルロ法に比べて2乗少ない量子サンプルでポリシーの価値関数を推定する、量子ポリシー評価（QPE）を実装する。
• グローバー探索を用いてポリシー改善ループにQPEを統合し、より良いポリシーを反復的に探索する。これにより、量子近似ポリシー反復スキームを構築する。
• デジタル量子コンピュータ上でポリシー評価と改善ステップを実装するための、単一および複数キュービットゲートを用いた明示的な量子回路を設計する。
• 制御された状態準備を用いて、重ね合わせ状態における期待累積報酬を推定し、量子位相推定技術を活用する。
• ポリシー空間に対してグローバーに類似した増幅を適用し、ε-最適ポリシーを探索する。反復回数は、N個のポリシーに対してO(√N)の割合で増加する。

実験結果

リサーチクエスチョン

• RQ1 量子振幅推定は、強化学習におけるポリシー評価の古典的モンテカルロ法に比べて、証明可能なサンプル複雑度の優位性を提供できるか？
• RQ2 グローバー探索は、量子ポリシー反復フレームワークにどのように統合され、古典的手法よりも効率的にポリシーを改善できるか？
• RQ3 小さなポリシー空間を持つ有限MDPに適用した場合、量子ポリシー反復の経験的収束挙動はいかなるものか？
• RQ4 理論的に予測されたO(√N)のスケーリングに従って、量子ポリシー反復の実行時間がポリシー数Nに対してスケーリングするか？
• RQ5 量子サンプルの状態準備のコストを考慮した場合、QPEにおける量子優位性はどのような条件下で維持されるか？

主な発見

• 量子ポリシー評価（QPE）は、与えられた精度内で価値関数を推定するのに、古典的モンテカルロ法に比べて2乗少ない量子サンプルで実現でき、2乗の高速化を達成する。
• 2腕のバンディットMDPにおけるシミュレーションにより、QPEの理論的量子優位性が確認され、QPEは古典的MC法よりも速く収束し、必要な相互作用回数も少ないことが示された。
• 量子ポリシー反復は有限回の反復で最適ポリシーに収束し、最適ポリシーが特定された後には最終的な成功確率が1に達する。
• ポリシー改善のためのグローバー回転の平均回数は√Nに線形に比例し、N個のポリシーに対して予測されたO(√N)の複雑度が確認された。
• シミュレーション実行の99％以上で、ε-最適ポリシーが正常に特定された。これは、ノイズや状態準備の課題が存在する中でも、量子ポリシー反復手順の高い信頼性を示している。
• 量子ポリシー反復の実行時間分布は対称的であり、四分位範囲が広い。これは、初期段階の反復で近似的に最適なポリシーを確率的にサンプリングするための確率的収束の兆候である。