[论文解读] Approximation and Generalization Capacities of Parametrized Quantum Circuits for Functions in Sobolev Spaces

Alberto Blázquez Manzano, David Dechant+2 more|arXiv (Cornell University)|Jul 27, 2023

Quantum Computing Algorithms and ArchitectureComputer Science被引用 3

一句话总结

该论文证明了在适当的归一化和损失函数条件下，参数化量子线路（PQCs）能够普遍逼近Sobolev空间、连续函数和Lp空间中的函数。通过对输入数据应用最小-最大特征缩放，并使用一致的损失函数（如ℓh1或ℓhk），PQCs实现了更优的逼近与泛化性能，理论边界将损失函数与目标距离联系起来。

ABSTRACT

Parametrized quantum circuits (PQC) are quantum circuits which consist of both fixed and parametrized gates. In recent approaches to quantum machine learning (QML), PQCs are essentially ubiquitous and play the role analogous to classical neural networks. They are used to learn various types of data, with an underlying expectation that if the PQC is made sufficiently deep, and the data plentiful, the generalization error will vanish, and the model will capture the essential features of the distribution. While there exist results proving the approximability of square-integrable functions by PQCs under the $L^2$ distance, the approximation for other function spaces and under other distances has been less explored. In this work we show that PQCs can approximate the space of continuous functions, $p$-integrable functions and the $H^k$ Sobolev spaces under specific distances. Moreover, we develop generalization bounds that connect different function spaces and distances. These results provide a theoretical basis for different applications of PQCs, for example for solving differential equations. Furthermore, they provide us with new insight on the role of the data normalization in PQCs and of loss functions which better suit the specific needs of the users.

研究动机与目标

• 建立PQCs逼近Sobolev空间、连续函数和Lp空间中函数的理论基础。
• 证明通过最小-最大缩放进行数据归一化可实现在这些函数空间中的普遍逼近。
• 推导可微损失函数（如ℓh1）与目标距离（如上确界范数）之间的关联，建立一般化边界。
• 为在PQC模型中使用微分机器学习和特定损失函数提供理论依据。
• 弥合理论逼近能力与量子机器学习中实际训练性能之间的差距。

提出的方法

• 提出对输入数据进行最小-最大特征重标度，将输入映射到区间[−π/2, π/2]，从而实现在C0、Lp和Hk空间中的普遍逼近。
• 将PQC的期望值fθ(x) = ⟨0|U†(x;θ)MU(x;θ)|0⟩视为广义三角级数，实现对光滑和可积函数的逼近。
• 利用Sobolev不等式建立损失函数（如ℓh1）与目标距离（如L∞）之间的一致性，确保最小化损失可渐近地最小化目标距离。
• 建立一般化边界，将ℓhk损失的期望与Lp和Hk距离联系起来，为训练稳定性提供理论保证。
• 通过100次训练运行的数值实验验证，归一化与ℓh1损失可提升收敛速度与逼近精度。
• 将编码策略的选择（如arcsin映射）与更优的逼近特性联系起来，类似于经典网络中的激活函数。

实验结果

研究问题

• RQ1 在适当的输入归一化条件下，PQCs能否在Sobolev空间Hk、连续函数C0和Lp空间中实现普遍逼近？
• RQ2 在PQC训练中，如何选择与L2、L∞或Hk等目标距离一致的损失函数？
• RQ3 输入数据归一化在提升PQCs逼近与泛化能力方面起到什么作用？
• RQ4 为何基于ℓh1损失的微分机器学习在实践中优于标准的L2训练？这与理论是否一致？
• RQ5 Sobolev不等式在多大程度上使可微损失函数能够逼近不可微的目标距离？

主要发现

• 当输入数据被归一化至[−π/2, π/2]时，PQCs可在Lp、C0和Hk距离下实现对Hk、C0和Lp空间中函数的普遍逼近。
• ℓh1损失函数与R上的上确界（L∞）距离一致，为不可微的l∞损失提供可微替代方案。
• 一般化边界表明，最小化ℓhk损失可渐近地最小化Lp和Hk距离，验证了其在训练中的适用性。
• 数值实验确认，将输入归一化至[−π/2, π/2]并结合ℓh1损失，相比标准L2损失，能显著提升对目标函数的逼近效果。
• ℓh1损失在收敛速度与精度上均优于ℓl2，尤其在可获取导数信息时表现更优。
• 理论结果表明，微分机器学习在高维问题中的成功可能受限于输入维度的阈值，需进一步研究。