[论文解读] Bandwidth Enables Generalization in Quantum Kernel Models

Abdülkadir Canatar, Evan Peters+3 more|arXiv (Cornell University)|Jun 14, 2022

Quantum Computing Algorithms and Architecture被引用 19

一句话总结

本文表明，通过控制一个称为带宽的超参数，量子核模型可在大量子比特数量极限下实现有效泛化，该参数调控核的谱特性与归纳偏置。作者通过解析推导核积分算子谱在大n极限下的性质，证明即使在传统模型失效的情况下，带宽仍能实现泛化，且在真实数据集上的实证验证确认最优带宽与 $ c^* \propto n^{-0.506} $ 成比例。

ABSTRACT

Quantum computers are known to provide speedups over classical state-of-the-art machine learning methods in some specialized settings. For example, quantum kernel methods have been shown to provide an exponential speedup on a learning version of the discrete logarithm problem. Understanding the generalization of quantum models is essential to realizing similar speedups on problems of practical interest. Recent results demonstrate that generalization is hindered by the exponential size of the quantum feature space. Although these results suggest that quantum models cannot generalize when the number of qubits is large, in this paper we show that these results rely on overly restrictive assumptions. We consider a wider class of models by varying a hyperparameter that we call quantum kernel bandwidth. We analyze the large-qubit limit and provide explicit formulas for the generalization of a quantum model that can be solved in closed form. Specifically, we show that changing the value of the bandwidth can take a model from provably not being able to generalize to any target function to good generalization for well-aligned targets. Our analysis shows how the bandwidth controls the spectrum of the kernel integral operator and thereby the inductive bias of the model. We demonstrate empirically that our theory correctly predicts how varying the bandwidth affects generalization of quantum models on challenging datasets, including those far outside our theoretical assumptions. We discuss the implications of our results for quantum advantage in machine learning.

研究动机与目标

• 解决理论极限对量子核泛化的限制与高量子比特领域实证成功之间的明显矛盾。
• 识别带宽如何在特征空间呈指数增长的情况下，使量子核模型实现泛化。
• 通过谱分析与任务-模型对齐，解析推导大量子比特极限下泛化对带宽的依赖关系。
• 在真实数据集上实证验证理论，表明带宽能同时改善特征谱与任务-模型对齐。
• 建立最优带宽与量子比特数量的标度律，表明 $ c^* \propto n^{-\alpha} $，其中 $ \alpha \geq 0.5 $。

提出的方法

• 作者采用统计物理中的副本方法框架，分析大n极限下核积分算子谱的性质。
• 引入一个调节核谱分布并控制归纳偏置的带宽超参数。
• 理论分析推导出泛化误差关于带宽与目标函数对齐度的闭式表达式。
• 通过目标函数与核特征空间重叠度量化任务-模型对齐，将其与泛化性能关联。
• 实证验证采用FMNIST等数据集上的SVM与核岭回归，利用 $ k $-折交叉验证识别最优带宽。
• 通过归一化不同量子比特数量下的最大特征值，拟合幂律衰减以确定 $ \alpha $，从而提取标度律。

实验结果

研究问题

• RQ1 尽管先前的理论结果表明不可能，量子核模型是否仍能在大量子比特极限下实现泛化？
• RQ2 带宽超参数如何影响核积分算子的谱分布与模型的归纳偏置？
• RQ3 最优带宽与量子核模型中量子比特数量之间的标度关系为何？
• RQ4 通过特征谱-目标重叠量化的任务-模型对齐是否随带宽调节而改善？
• RQ5 对泛化的理论预测是否可在真实世界数据集上得到实证验证？

主要发现

• 带宽超参数控制核积分算子的谱分布，将平坦谱转化为具有主导特征值的谱，从而实现泛化。
• 理论分析表明，当带宽被调优时，即使在先前结果假设其不可能的情况下，大n极限下仍可实现泛化。
• 实证结果确认，最优带宽在FMNIST等真实数据集上的SVM与核岭回归中均能最小化测试损失。
• 最优带宽与 $ c^* \propto n^{-0.506} $ 成比例，衰减指数 $ \alpha \geq 0.5 $，与理论边界一致。
• 带宽同时改善了特征谱（降低平坦度）与任务-模型对齐，尽管对齐度在目标函数与核主成分不匹配时仍较差。
• 本研究证明，带宽本身不保证泛化，但当目标函数与核主成分良好对齐时，可实现泛化。