[论文解读] Quantum algorithms for ridge regression

Chao‐Hua Yu, Fei Gao+1 more|arXiv (Cornell University)|Jul 29, 2017

Quantum Computing Algorithms and Architecture被引用 6

一句话总结

本文提出了一种用于岭回归的量子算法，通过并行哈密顿量模拟实现量子K折交叉验证，从而高效地确定最优正则化超参数。该方法在低秩且条件良好的设计矩阵上，相对于经典方法实现了指数级加速，通过制备编码最优回归参数的量子态，实现快速预测。

ABSTRACT

Ridge regression (RR), also called regularized linear regression, is an important machine learning technique which introduces a regularization hyperparameter to ordinary multiple linear regression for analyzing data suffering from multicollinearity. Here we provide an efficient quantum algorithm for RR. Specifically, by giving the technique of parallel Hamiltonian simulation that can simulate a number of Hermitian matrices in parallel, we develop a quantum version of $K$-fold cross-validation approach that can efficiently estimate the predictive performance of RR. Our algorithm involves two phases: (1) we first use the quantum $K$-fold cross-validation to efficiently determine an approximately optimal regularization hyperparameter for RR with which RR can achieve very good predictive performance, and (2) then generate a quantum state encoding the optimal fitting parameters of RR with such hyperparameter, which can be further utilized to predict new data. Our algorithm can handle nonsparse data matrices, and is exponentially faster than the classical algorithm for (low-rank) design matrices with relatively small elements and low condition numbers.

研究动机与目标

• 开发一种利用量子计算高效确定岭回归最优正则化超参数的量子算法。
• 在超参数选择后，通过制备编码最优回归参数的量子态，实现实现出快速预测。
• 处理非稀疏数据矩阵，将量子机器学习扩展到更广泛的回归问题类别。
• 在低秩且条件良好的设计矩阵上，实现相对于经典岭回归算法的指数级加速。

提出的方法

• 该算法采用并行哈密顿量模拟，同时模拟多个厄米矩阵，实现高效的量子K折交叉验证。
• 利用量子幅度估计算法，估计岭回归在交叉验证过程中不同折的预测性能。
• 该方法选择使交叉验证误差最小的正则化超参数，以确保最优预测性能。
• 在完成超参数选择后，算法使用量子线性系统求解器制备编码最优岭回归系数的量子态。
• 该方法设计用于处理非稀疏数据矩阵，扩展了其在稀疏量子机器学习模型之外的适用性。
• 该算法利用矩阵求逆和特征值估计中的量子加速，尤其在条件数和矩阵元素较小时效果显著。

实验结果

研究问题

• RQ1 量子算法是否能在选择岭回归最优正则化超参数方面实现指数级加速？
• RQ2 如何利用并行哈密顿量模拟高效实现量子K折交叉验证？
• RQ3 所提出的量子岭回归算法在低秩且条件良好的矩阵上，相对于经典方法的性能提升如何？
• RQ4 该量子算法是否能在不牺牲效率的前提下处理非稀疏数据矩阵？

主要发现

• 该量子算法在条件数较小且矩阵元素相对较小的低秩设计矩阵上，相对于经典岭回归实现了指数级加速。
• 并行哈密顿量模拟的使用实现了高效的量子K折交叉验证，显著缩短了最优超参数估计的时间。
• 该算法成功制备了编码最优岭回归系数的量子态，可用于快速量子预测。
• 该方法适用于非稀疏数据矩阵，将量子机器学习技术扩展至非稀疏或非结构化数据。