[論文レビュー] Learning with Optimized Random Features: Exponential Speedup by Quantum Machine Learning without Sparsity and Low-Rank Assumptions

Hayata Yamasaki, Sathyawageeswar Subramanian+2 more|arXiv (Cornell University)|Apr 22, 2020

Quantum Computing Algorithms and Architecture被引用数 7

ひとこと要約

この論文は、データに依存する確率分布から最適化されたランダム特徴量をサンプリングする量子機械学習アルゴリズムを提案し、古典的手法と比較して実行時間において指数的スピードアップを達成する。量子アモリチュード増幅と状態準備を活用することで、アルゴリズムはO(D)時間で特徴量をサンプリングでき、スパarsityや低ランク仮定を必要とせず、回帰や学習を高速化する。これにより、カーネルベースの学習タスクが加速される。

ABSTRACT

Kernel methods augmented with random features give scalable algorithms for learning from big data. But it has been computationally hard to sample random features according to a probability distribution that is optimized for the data, so as to minimize the required number of features for achieving the learning to a desired accuracy. Here, we develop a quantum algorithm for sampling from this optimized distribution over features, in runtime $O(D)$ that is linear in the dimension $D$ of the input data. Our algorithm achieves an exponential speedup in $D$ compared to any known classical algorithm for this sampling task. In contrast to existing quantum machine learning algorithms, our algorithm circumvents sparsity and low-rank assumptions and thus has wide applicability. We also show that the sampled features can be combined with regression by stochastic gradient descent to achieve the learning without canceling out our exponential speedup. Our algorithm based on sampling optimized random features leads to an accelerated framework for machine learning that takes advantage of quantum computers.

研究の動機と目的

• 最適化された確率分布 q*ε(v) からのサンプリングの計算的非効率性に対処する。これは、正確な学習に必要な特徴量の数を著しく削減することが知られている。
• 入力次元 D に伴いスケーリングが著しく悪化する高次元演算子 (Σ + ε𝕀)⁻¹ の逆行列計算という古典的ブottleneckを克服する。
• 入力次元 D に対して線形時間 O(D) で実行される量子アルゴリズムを開発し、古典的手法のサンプリング法と比較して指数的スピードアップを達成する。
• 確率的勾配降下法による回帰などの後続学習タスクと組み合わせた場合でも、量子スピードアップが維持されることを保証する。
• スパarsity や低ランク構造といった制限的な仮定を避けることで、広範な適用可能性を実証する。

提案手法

• 最適化された確率分布 q*ε(v) を量子状態にエンコードするため、量子アモリチュード増幅とアモリチュード推定を用いる。
• 量子状態 |ψ⟩ = ∑ₘ √Q(vm) |m⟩ ⊗ |φ(vm, x)⟩ を構築し、ここで Q(vm) は最適化されたサンプリング確率である。これにより、特徴量の効率的サンプリングが可能になる。
• 内積 vₘ·x と特徴写像 φ(vm, x) = e⁻²πi vₘ·x をスーパポジションで評価する量子オракルを実装し、1回の評価あたり O(D) 時間を要する。
• 量子アモリチュード推定を用いて、パラメータ空間における損失関数の勾配を推定し、1反復あたり O(MD) 時間で効率的な確率的勾配降下法を実現する。
• パラメータ化された量子回路を用いて初期状態を準備し、アダマールゲートを適用して M 個の特徴量インデックスの均等なスーパポジションを作成。その後、アモリチュード増幅を適用して最適化された分布からのサンプリングを実現する。
• 量子特徴量サンプリングを古典的回帰（確率的勾配降下法）と組み合わせ、全体の量子スピードアップが古典的計算によって相殺されないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 量子アルゴリズムは、高次元演算子の逆行列計算に起因する古典的非効率性により、サンプリングが困難な最適化されたランダム特徴量分布 q*ε(v) からのサンプリングにおいて、指数的スピードアップを達成できるか？
• RQ2 提案された量子アルゴリズムは、リッジ回帰や確率的勾配降下法などの下流学習タスクと統合された場合でも、スピードアップを維持できるか？
• RQ3 量子アルゴリズムは、データやカーネル行列におけるスパarsity や低ランク構造という一般的な仮定を回避でき、その適用範囲を広げられるか？
• RQ4 量子アルゴリズムの実行時間スケーリングは、入力次元 D に対してどのように変化するか？また、古典的手法のサンプリング法と比較するとどうなるか？
• RQ5 量子でサンプリングされた最適化された特徴量を用いた学習タスクにおいて、保証された収束速度を達成できるか？また、その収束速度は最小サンプリング確率 Q_min にどのように依存するか？

主な発見

• 量子アルゴリズムは、最適化された分布 q*ε(v) からのサンプリングに O(D) 時間を要し、古典的手法が最悪ケースで O(exp(D)) 時間を要するのと比較して、指数的スピードアップを達成する。
• 確率的勾配降下法による回帰と組み合わせた場合でも、アルゴリズムは指数的スピードアップを維持する。総合的な実行時間は O(MD + T_x + T_y) であり、M は特徴量の数、T_x と T_y はデータへのアクセス時間である。
• 収束に必要な反復回数は T = O(1/(ε²Q_min²) log(1/δ)) で有界であり、ここで ε はターゲット精度、Q_min は最小サンプリング確率である。
• スパarsity や低ランク仮定を必要としないため、ガウスカーネルやサブガウスシャンプルデータを含む幅広いカーネル法に適用可能である。
• 理論的解析により、アルゴリズムで用いられる勾配推定値が不偏かつ有界であることが確認され、最適解への高確率収束が保証される。
• 最適化されたサンプリング分布 q*ε(v) のおかげで、データに依存しない分布からサンプリングする古典的手法と比較して、指数的に少ない特徴量で学習が可能になる。