[论文解读] Generalization despite overfitting in quantum machine learning models

Evan Peters, Maria Schuld|arXiv (Cornell University)|Sep 12, 2022

Quantum Computing Algorithms and Architecture参考文献 64被引用 6

一句话总结

本文通过将量子线路结构（尤其是数据编码和态制备）与傅里叶模态选择联系起来，展示了量子机器学习模型中的良性过拟合现象，表明过参数化的量子模型可以在拟合噪声数据的同时实现良好泛化。关键结果是：当量子比特数量满足 n_q = ω(log n) 时，泛化误差在大 n 极限下趋于零，从而在量子模型中提供了良性过拟合的明确实例。

ABSTRACT

The widespread success of deep neural networks has revealed a surprise in classical machine learning: very complex models often generalize well while simultaneously overfitting training data. This phenomenon of benign overfitting has been studied for a variety of classical models with the goal of better understanding the mechanisms behind deep learning. Characterizing the phenomenon in the context of quantum machine learning might similarly improve our understanding of the relationship between overfitting, overparameterization, and generalization. In this work, we provide a characterization of benign overfitting in quantum models. To do this, we derive the behavior of a classical interpolating Fourier features models for regression on noisy signals, and show how a class of quantum models exhibits analogous features, thereby linking the structure of quantum circuits (such as data-encoding and state preparation operations) to overparameterization and overfitting in quantum models. We intuitively explain these features according to the ability of the quantum model to interpolate noisy data with locally "spiky" behavior and provide a concrete demonstration example of benign overfitting.

研究动机与目标

• 理解过拟合与泛化如何在量子机器学习模型中共存，镜像经典深度学习中的良性过拟合现象。
• 表征量子线路设计（尤其是数据编码和态制备）在通过傅里叶模态控制实现良性过拟合中的作用。
• 建立一个理论框架，通过傅里叶分析将量子模型复杂度与过参数化及泛化误差联系起来。
• 通过平衡尖峰行为与平滑信号恢复，提供一个量子模型中良性过拟合的明确实例。

提出的方法

• 推导经典插值傅里叶特征模型的泛化误差界，为良性过拟合奠定基础。
• 构建一个与经典傅里叶模型具有类似组件的量子模型，将量子线路元件（如数据编码、态制备）映射到傅里叶模态选择。
• 采用带限目标函数，并定义一个态 |Γ⟩，以编码谱知识，从而将特征权重偏向目标模态。
• 分析数据编码策略中哈密顿量冗余对尖峰性与泛化之间平衡的影响。
• 应用傅里叶分析来界定偏差与方差项，表明两者分别以 O(1/n²) 和 O(1/n + n/d) 的速率衰减。
• 证明当 d = ω(n) 时，即当量子比特数量的增长快于 log n 时，泛化误差在大 n 极限下趋于零。

实验结果

研究问题

• RQ1 在量子机器学习模型中是否可能发生良性过拟合，即复杂模型在拟合噪声数据的同时仍能实现良好泛化？
• RQ2 量子线路组件（如数据编码和态制备）如何与傅里叶模态选择及泛化行为相关联？
• RQ3 过参数化在实现插值下仍能泛化的量子模型中起到何种作用？
• RQ4 标准数据编码策略中哈密顿量谱的冗余性如何影响尖峰性与信号恢复之间的权衡？
• RQ5 能否构建一个量子模型，使其泛化误差在渐近意义下趋于零，即使训练误差为零？

主要发现

• 最小弗罗贝尼乌斯范数插值量子模型的偏差以 O(1/n²) 的速率衰减，表明噪声吸收导致误差被强烈抑制。
• 方差以 O(1/n + n/d) 的速率衰减，当 d = ω(n) 时趋于零，即当量子比特数量的增长快于 n 的对数时。
• 当模型维度 d 的增长快于 n 时，可实现良性过拟合，确保在大 n 极限下偏差与方差均衰减。
• 满足式 (241) 的态制备酉操作 U 可实现特征权重 ν_k^opt 的有利分布，偏向目标频带 Ω_{n_0}，并对其他模态形成细长尾部。
• 通过引入目标函数谱知识的 |Γ⟩ 选择，引入了归纳偏置，但该框架允许未来探索具有类似特性的数据无关 |Γ⟩。
• 分析表明，数据编码中哈密顿量冗余对泛化权衡具有显著影响，其程度难以通过其他线路设计选择来抵消。