[論文レビュー] Quantum Policy Gradient Algorithms

Sofiène Jerbi, Arjan Cornelissen+2 more|arXiv (Cornell University)|Dec 19, 2022

Quantum Computing Algorithms and Architecture被引用数 7

ひとこと要約

この論文は、量子アクセスを備えた強化学習環境において、パrametrized量子ポリシーを訓練する際、サンプル複雑度において最大で2次速度向上を達成する量子ポリシー勾配アルゴリズムを提示する。軌跡に対する量子オракルアクセスを活用し、量子多次元モンテカルロ法と数値勾配推定を適用することで、ポリシーが滑らかさ条件を満たす場合に完全な2次速度向上を実現する。この滑らかさ条件は、ラフ-PQCやソフトマックス1-PQCポリシーなど、一般的なパラメータ化量子回路によって満たされる。

ABSTRACT

Understanding the power and limitations of quantum access to data in machine learning tasks is primordial to assess the potential of quantum computing in artificial intelligence. Previous works have already shown that speed-ups in learning are possible when given quantum access to reinforcement learning environments. Yet, the applicability of quantum algorithms in this setting remains very limited, notably in environments with large state and action spaces. In this work, we design quantum algorithms to train state-of-the-art reinforcement learning policies by exploiting quantum interactions with an environment. However, these algorithms only offer full quadratic speed-ups in sample complexity over their classical analogs when the trained policies satisfy some regularity conditions. Interestingly, we find that reinforcement learning policies derived from parametrized quantum circuits are well-behaved with respect to these conditions, which showcases the benefit of a fully-quantum reinforcement learning framework.

研究の動機と目的

• 量子アクセス可能な環境を有する強化学習におけるポリシー勾配訓練を加速する量子アルゴリズムの設計。
• 量子アルゴリズムが古典的手法よりもサンプル複雑度において完全な2次速度向上を達成できる条件の同定。
• パラメータ化量子回路（PQC）がこれらの滑らかさ条件を自然に満たすことを示し、効率的な量子訓練を可能にすること。
• ポリシー勾配法における数値的および解析的勾配推定の両方に対して量子速度向上を提供すること。
• 現実的なMDP仮定の下で、量子および古典的ポリシー勾配推定器の理論的クエリ複雑度の境界を確立すること。

提案手法

• マルコフ決定過程（MDP）へのオラクル量子アクセスを活用し、ユニタリ操作 UP および UR を用いて軌跡の重ね合わせを可能にする。
• 量子サブルーチン [25, 26] を用いた量子数値勾配推定を適用し、2次速度向上を得るには導関数の滑らかさ（D ≤ 1）が制限される必要がある。
• 解析的勾配推定には [27, 28] の量子多次元モンテカルロ推定を用い、ログポリシー勾配の ℓp ノルムが有界であること（Bp）が必要である。
• ポリシーおよび報酬オラクルのユニタリ実装を用いて勾配推定器への量子アクセスを構築し、精度を向上させるためにアモニチュード推定を適用する。
• ポリシーのパラメータ数 d、ホライズン T、割引係数 γ、最大報酬 |R|max、および滑らかさパラメータ D もしくは Bp を用いたクエリ複雑度の境界を導出する。
• 数値的および解析的勾配推定の両方を分析し、量子版が古典版の eO(d) および eO(Bp²) に対してそれぞれ eO(√d) および eO(d^{ξ(p)}) のスケーリングを達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 量子アルゴリズムがポリシー勾配強化学習におけるサンプル複雑度で2次速度向上を達成できる条件は何か？
• RQ2 パラメータ化量子回路（PQC）が、ポリシー勾配推定における量子速度向上に必要な滑らかさ条件を満たすことが示せるか？
• RQ3 量子および古典的クエリ複雑度は、ポリシー次元 d、ホライズン T、報酬の大きさ |R|max などの主要パラメータに関してどのようにスケーリングされるか？
• RQ4 環境への量子アクセスが、複数の軌跡の重ね合わせを可能にし、数値的および解析的両設定での勾配推定を加速できるか？
• RQ5 割引係数 γ およびホライズン T は、量子ポリシー勾配アルゴリズムの性能にどのように寄与するか？

主な発見

• 値関数の導関数の滑らかさが有界（D ≤ 1）である場合、量子数値勾配推定は古典的手法に対して完全な2次速度向上を達成する。これは、ラフ-PQCポリシーによって満たされる。
• p ∈ [1, 2] の範囲で、ログポリシー勾配の ℓp ノルムが有界（Bp ≤ 2）であれば、量子解析的勾配推定は2次速度向上を達成する。これはソフトマックス1-PQCポリシーによって満たされる。
• 数値勾配推定の量子クエリ複雑度は eO(√d DT³|R|max / (ε(1−γ))) であり、古典版は eO(d D²T⁵|R|²max / (ε²(1−γ)²)) にスケーリングする。
• 解析的勾配推定では、量子複雑度は eO(d^{ξ(p)} BpT|R|max / (ε(1−γ))) であり、ξ(p) = max{0, 1/2 − 1/p} である。古典版は eO((BpT|R|max / (ε(1−γ)))²) にスケーリングする。
• 結果として、滑らかで well-behaved な量子ポリシーに対して、量子ポリシー勾配アルゴリズムがサンプル複雑度において2次速度向上を達成できることを示している。特にPQCから導出されるポリシーにおいて顕著である。
• 解析の結果、ゲヴレ条件の定式化を緩和すれば、数値勾配アルゴリズムの T スケーリングが解析的手法と一致する可能性があり、T に関する改善要因が得られる可能性がある。