[论文解读] Generalization in Quantum Machine Learning: a Quantum Information Perspective

Leonardo Banchi, Jason L. Pereira+1 more|arXiv (Cornell University)|Feb 17, 2021

Quantum Computing Algorithms and Architecture参考文献 46被引用 11

一句话总结

本文通过将量子机器学习（QML）分类与量子假说检验相联系，建立了一个量子信息理论框架，以理解量子机器学习中的泛化问题。研究表明，分类准确率和泛化能力取决于 Rényi 互信息 $I(C{:}Q)$ 和 $I_2(X{:}Q)$，并提出了一种量子信息瓶颈原理，以优化数据嵌入以实现更好的泛化。该方法通过在伊辛自旋链上应用变分量子信息瓶颈（VQIB）方法得到验证。

ABSTRACT

Quantum classification and hypothesis testing are two tightly related subjects, the main difference being that the former is data driven: how to assign to quantum states $ρ(x)$ the corresponding class $c$ (or hypothesis) is learnt from examples during training, where $x$ can be either tunable experimental parameters or classical data "embedded" into quantum states. Does the model generalize? This is the main question in any data-driven strategy, namely the ability to predict the correct class even of previously unseen states. Here we establish a link between quantum machine learning classification and quantum hypothesis testing (state and channel discrimination) and then show that the accuracy and generalization capability of quantum classifiers depend on the (Rényi) mutual informations $I(C{:}Q)$ and $I_2(X{:}Q)$ between the quantum state space $Q$ and the classical parameter space $X$ or class space $C$. Based on the above characterization, we then show how different properties of $Q$ affect classification accuracy and generalization, such as the dimension of the Hilbert space, the amount of noise, and the amount of neglected information from $X$ via, e.g., pooling layers. Moreover, we introduce a quantum version of the Information Bottleneck principle that allows us to explore the various tradeoffs between accuracy and generalization. Finally, in order to check our theoretical predictions, we study the classification of the quantum phases of an Ising spin chain, and we propose the Variational Quantum Information Bottleneck (VQIB) method to optimize quantum embeddings of classical data to favor generalization.

研究动机与目标

• 建立量子机器学习（QML）分类与量子假说检验（QHT）之间的理论联系，特别是针对态与信道判别的场景。
• 识别 Rényi 互信息 $I(C{:}Q)$ 和 $I_2(X{:}Q)$ 作为控制 QML 中分类准确率与泛化能力的根本度量。
• 提出一种量子版本的信息瓶颈原理，以优化经典数据的量子嵌入，从而提升泛化能力。
• 通过在伊辛自旋链上进行的量子相识别案例研究，利用变分量子信息瓶颈（VQIB）方法验证理论预测。
• 分析量子系统属性（如希尔伯特空间维数、噪声，以及池化导致的信息损失）对 QML 泛化能力的影响。

提出的方法

• 将 QML 分类形式化为量子假说检验（QHT）问题，将类别视为假设，量子态视为结果。
• 利用 Rényi 互信息 $I_{eta}(C{:}Q)$ 和 $I_{eta}(X{:}Q)$ 推导训练误差与测试误差的边界，其中 $eta = 1/2$ 时可表示为态保真度的函数。
• 提出一种量子信息瓶颈（QIB）原理，通过最小化 $I_{1/2}(X{:}Q|C)$ 和 $I_{1/2}(C{:}Q)$，以优化分类准确率与泛化能力之间的权衡。
• 提出变分量子信息瓶颈（VQIB）方法，通过优化量子态空间以增强泛化能力，从而训练经典数据的量子嵌入。
• 使用基于保真度的表达式 $ rac{1}{2} ext{Tr}ig[ig( ho_c^{1/2} ho_{c'}^{1/2}ig)^2ig] $ 量化类条件态之间的可区分性，并将其与 $I_{1/2}(C{:}Q)$ 关联。
• 将该框架应用于一维横向场伊辛模型中的量子相识别问题，通过 VQIB 优化的嵌入展示了泛化能力。

实验结果

研究问题

• RQ1 类空间 $C$ 与量子态空间 $Q$ 之间的 Rényi 互信息 $I(C{:}Q)$ 如何影响量子分类器的泛化性能？
• RQ2 输入数据 $X$ 与量子态 $Q$ 之间的互信息 $I_2(X{:}Q)$ 在决定 QML 泛化中的作用是什么？
• RQ3 能否形式化一种量子版本的信息瓶颈原理，以指导平衡准确率与泛化能力的量子嵌入设计？
• RQ4 量子系统属性（如希尔伯特空间维数、噪声，以及池化导致的信息损失）如何影响 QML 模型的泛化能力？
• RQ5 该理论框架能否通过具体物理模型（如伊辛自旋链的量子相识别）得到验证？

主要发现

• QML 中的分类误差受 Rényi 互信息 $I_{1/2}(C{:}Q)$ 的限制，其取决于类条件态 $ \rho_c $ 之间平均保真度的大小，类间保真度越低，泛化能力越强。
• 当 $I_{1/2}(X{:}Q|C)$ 最小化时，泛化能力得到增强，这发生在同一类输入的量子嵌入之间保真度较高时，即当 $x,y$ 属于同一类时，$F(\rho(x), \rho(y)) \to 1$。
• 通过 $I_{1/2}(X{:}Q|C)$ 和 $I_{1/2}(C{:}Q)$ 形式化了量子信息瓶颈原理，使量子嵌入的优化成为可能，从而在准确率与泛化能力之间实现平衡。
• VQIB 方法成功优化了伊辛自旋链的量子嵌入，通过受控地最小化 $I_{1/2}(X{:}Q|C)$，在未见的量子相上展示了改进的泛化能力。
• 该框架揭示了量子偏差-方差权衡：有限的训练数据限制了可达到的最小测试误差，泛化能力受数据与量子态之间互信息的制约。
• 推导出 $I_{1/2}(X{:}Q|C)$ 和 $I_{1/2}(C{:}Q)$ 的理论表达式，以态保真度和迹函数表示，使得无需完整态层析即可对嵌入质量进行定量分析。