[论文解读] Learning with Optimized Random Features: Exponential Speedup by Quantum Machine Learning without Sparsity and Low-Rank Assumptions

Hayata Yamasaki, Sathyawageeswar Subramanian+2 more|arXiv (Cornell University)|Apr 22, 2020

Quantum Computing Algorithms and Architecture被引用 7

一句话总结

该论文提出了一种量子机器学习算法，从与数据相关的概率分布中采样优化的随机特征，与经典方法相比，运行时间实现了指数级加速。通过利用量子振幅放大和态制备技术，该算法在 O(D) 时间内完成特征采样，无需稀疏性或低秩假设，即可实现更快的回归与学习，从而加速基于核的方法任务。

ABSTRACT

Kernel methods augmented with random features give scalable algorithms for learning from big data. But it has been computationally hard to sample random features according to a probability distribution that is optimized for the data, so as to minimize the required number of features for achieving the learning to a desired accuracy. Here, we develop a quantum algorithm for sampling from this optimized distribution over features, in runtime $O(D)$ that is linear in the dimension $D$ of the input data. Our algorithm achieves an exponential speedup in $D$ compared to any known classical algorithm for this sampling task. In contrast to existing quantum machine learning algorithms, our algorithm circumvents sparsity and low-rank assumptions and thus has wide applicability. We also show that the sampled features can be combined with regression by stochastic gradient descent to achieve the learning without canceling out our exponential speedup. Our algorithm based on sampling optimized random features leads to an accelerated framework for machine learning that takes advantage of quantum computers.

研究动机与目标

• 解决从优化概率分布 q*ε(v) 中采样随机特征的计算不可行性问题，该分布已被证明可显著减少准确学习所需的特征数量。
• 克服经典方法中对高维算子 (Σ + ε𝕀)⁻¹ 求逆的瓶颈，其时间复杂度随输入维度 D 的增长而急剧恶化。
• 开发一种量子算法，实现在输入维度 D 上线性时间复杂度 O(D)，从而在采样效率上实现相对于经典方法的指数级加速。
• 确保在将特征采样与后续学习任务（如随机梯度下降回归）结合时，量子加速优势得以保持。
• 通过避免对数据或核矩阵施加稀疏性或低秩结构等限制性假设，展示方法的广泛适用性。

提出的方法

• 利用量子振幅放大和振幅估计算法，制备编码优化概率分布 q*ε(v) 的量子态，其中 v 为随机特征参数。
• 构建量子态 |ψ⟩ = ∑ₘ √Q(vm) |m⟩ ⊗ |φ(vm, x)⟩，其中 Q(vm) 为优化采样概率，从而实现高效特征采样。
• 实现一个量子预言机，以 O(D) 时间复杂度每轮评估内积 vₘ·x 和特征映射 φ(vm, x) = e⁻²πi vₘ·x，且可在叠加态中并行计算。
• 应用量子振幅估计算法，对参数空间中的损失函数梯度进行估计，从而在每次迭代中实现高效的随机梯度下降，时间复杂度为 O(MD)。
• 使用参数化量子线路制备初始态，并通过施加 Hadamard 门在 M 个特征索引上创建均匀叠加态，随后应用振幅放大以从优化分布中采样。
• 将量子特征采样与经典回归方法（如随机梯度下降）结合，确保整体量子加速优势不被经典计算部分抵消。

实验结果

研究问题

• RQ1 量子算法是否能在采样优化随机特征分布 q*ε(v) 时实现指数级加速，而该问题在经典计算中因高维算子求逆而难以处理？
• RQ2 当所提出的量子算法与下游学习任务（如岭回归或随机梯度下降）结合时，其加速优势是否依然保持？
• RQ3 该量子算法能否避免对数据或核矩阵施加稀疏性或低秩结构的常见假设，从而提升其适用范围？
• RQ4 该量子算法在输入维度 D 上的时间复杂度如何？与经典采样方法相比有何差异？
• RQ5 在使用量子采样优化特征时，能否实现学习任务的可证明收敛速率？该收敛速率如何依赖于最小采样概率 Q_min？

主要发现

• 该量子算法在采样优化分布 q*ε(v) 时，运行时间为 O(D)，相比经典方法在最坏情况下需 O(exp(D)) 时间，实现了指数级加速。
• 当与随机梯度下降回归结合时，该算法仍保持指数级加速，总运行时间为 O(MD + T_x + T_y)，其中 M 为特征数量，T_x 和 T_y 分别为访问输入数据和标签的时间。
• 收敛所需的迭代次数受 T = O(1/(ε²Q_min²) log(1/δ)) 限制，其中 ε 为目标精度，Q_min 为最小采样概率。
• 该方法无需依赖稀疏性或低秩假设，因此适用于广泛的核方法，包括高斯核和次高斯数据。
• 理论分析证实，算法中使用的梯度估计是无偏且有界的，从而可高概率收敛至最优解。
• 由于采用优化采样分布 q*ε(v)，该框架可实现以指数级更少的特征数量完成学习，相比从与数据无关的分布中采样经典随机特征。