[論文レビュー] Quantum exploration algorithms for multi-armed bandits

Daochen Wang, Xuchen You+2 more|arXiv (Cornell University)|Jul 14, 2020

Quantum Computing Algorithms and Architecture参考文献 61被引用数 5

ひとこと要約

この論文では、報酬確率を量子振幅として符号化したコherentな量子オракルアクセスを用いて、マルチアームド・バンディットにおける最良腕の特定のための量子アルゴリズムを提示する。可変時間のアモニチュード増幅と推定を活用することで、クエリ複雑性が $\tilde{O}\bigl(\sqrt{\sum_{i=2}^{n}\Delta^{-2}_{i}}\bigr)$ に達し、最良の古典的アルゴリズムに対して2乗の量子高速化を達成する。これは、多項式対数的要因を除いて一致する量子下界を持つ。

ABSTRACT

Identifying the best arm of a multi-armed bandit is a central problem in bandit optimization. We study a quantum computational version of this problem with coherent oracle access to states encoding the reward probabilities of each arm as quantum amplitudes. Specifically, we show that we can find the best arm with fixed confidence using $ ilde{O}\bigl(\sqrt{\sum_{i=2}^nΔ^{\smash{-2}}_i}\bigr)$ quantum queries, where $Δ_{i}$ represents the difference between the mean reward of the best arm and the $i^ ext{th}$-best arm. This algorithm, based on variable-time amplitude amplification and estimation, gives a quadratic speedup compared to the best possible classical result. We also prove a matching quantum lower bound (up to poly-logarithmic factors).

研究の動機と目的

• コherentな量子オラクルアクセスの下で、マルチアームド・バンディットにおける最良腕特定問題に対する量子高速化を確立すること。
• 量子設定において固定信頼度で最良腕を特定する際のクエリ複雑性を分析すること。
• クエリ複雑性において、古典的手法に比べて2乗の改善を達成するアルゴリズムを開発すること。
• 一致する量子下界を証明し、提案されたアルゴリズムの最適性（多項式対数的要因を除いて）を確認すること。

提案手法

• アルゴリズムは、最良腕と他の腕との差 $\Delta_i = p_1 - p_i$ をもとに、最良腕の振幅を効率的に増幅するために可変時間のアモニチュード増幅を用いる。
• 量子アモニチュード推定を用いて、古典的サンプリングよりも少ないクエリで報酬確率 $p_i$ を高精度に推定する。
• 量子オラクル $\mathcal{O}$ は、すべての腕の重ね合わせを可能にする量子振幅としての報酬確率へのcoherentなアクセスを提供する。
• 実装において一般的な「ジャム」状態を含むオラクルに対しても、アルゴリズムは耐障害性を有するように設計されている。
• クエリ複雑性の境界を導出するために、コーシー・シュワルツの不等式と振幅差の境界に依存した解析が行われる。
• 状態の区別問題への還元を用いて、量子下界が証明され、アルゴリズムの最適性（対数的要因を除いて）が示される。

実験結果

リサーチクエスチョン

• RQ1 コherentなオラクルアクセスのもとで、量子アルゴリズムは最良腕特定問題において、証明可能な高速化を達成できるか？
• RQ2 固定信頼度で最良腕を特定するための最適な量子クエリ複雑性は何か？
• RQ3 最良腕と他の腕とのギャップ $\Delta_i$ に応じて、量子アルゴリズムの性能はどのようにスケーリングするか？
• RQ4 提案された量子アルゴリズムは最適であるか、それ以上のクエリ複雑性の改善が可能か？
• RQ5 オラクルが計算中に「ジャム」状態を導入しても、量子高速化は維持可能か？

主な発見

• 提案された量子アルゴリズムは、クエリ複雑性 $\tilde{O}\bigl(\sqrt{\sum_{i=2}^{n}\Delta^{-2}_{i}}\bigr)$ を達成し、最良の古典的アルゴリズムに対して2乗の高速化を実現する。
• 一致する量子下界 $\Omega\bigl(\sqrt{\sum_{i=2}^{n}\Delta^{-2}_{i}}\bigr)$ が証明されたため、アルゴリズムは多項式対数的要因を除いて最適である。
• 実装において一般的な「ジャム」状態を含むオラクルに対しても、アルゴリズムは耐障害性を保つ。
• 解析により、ギャップ $\Delta_i$ がゼロから離れている限り、報酬確率の有界な摂動に対しても量子高速化が保たれることを示している。
• この結果は、バンディットフィードバックに基づくアクティブラーニングやレコメンデーションシステムにおいて、量子アルゴリズムが著しく高速化できることを示唆する。
• このフレームワークは、類似したオラクルモデルに依存するクラスタリングや強化学習の既存の量子アルゴリズムの高速化にも応用可能である。