[论文解读] Construction of non-convex polynomial loss functions for training a binary classifier with quantum annealing

Ryan Babbush, Vasil S. Denchev+3 more|arXiv (Cornell University)|Jun 17, 2014

Quantum Computing Algorithms and Architecture参考文献 21被引用 7

一句话总结

本文提出了一种基于量子退火的二分类器训练方法，采用非凸多项式损失函数，将问题映射为多项式无约束二值优化（PUBO）形式，且量子比特开销与训练集规模无关。该方法在高标签噪声下具备鲁棒性，并通过编译为常数时间正则化风险表达式，为实现量子优势提供了实用路径。

ABSTRACT

Quantum annealing is a heuristic quantum algorithm which exploits quantum resources to minimize an objective function embedded as the energy levels of a programmable physical system. To take advantage of a potential quantum advantage, one needs to be able to map the problem of interest to the native hardware with reasonably low overhead. Because experimental considerations constrain our objective function to take the form of a low degree PUBO (polynomial unconstrained binary optimization), we employ non-convex loss functions which are polynomial functions of the margin. We show that these loss functions are robust to label noise and provide a clear advantage over convex methods. These loss functions may also be useful for classical approaches as they compile to regularized risk expressions which can be evaluated in constant time with respect to the number of training examples.

研究动机与目标

• 解决使用量子退火训练二分类器的挑战，该方法需要将机器学习目标映射为硬件原生兼容的形式。
• 克服先前QUBO嵌入方法中随训练样本数量增长而带来的高量子比特开销，使其在中等规模量子设备上不切实际的问题。
• 提出一种在间隔空间中为多项式且可表达为PUBO的损失函数形式，从而实现高效编译至量子退火硬件。
• 证明非凸多项式损失对标签噪声具有鲁棒性——这对真实世界数据至关重要——同时保持与量子优化的兼容性。
• 通过确保所需变量数量与训练集规模无关，实现量子退火在机器学习中的实际部署。

提出的方法

• 将非凸多项式损失函数表述为间隔 $ \gamma_i = y_i \mathbf{x}_i^T \mathbf{w} $ 的函数，确保其在间隔空间中平滑且可微。
• 将所得的经验风险最小化问题映射为PUBO（多项式无约束二值优化）形式，与当前量子退火硬件兼容。
• 设计损失函数为低阶多项式（例如六阶），以实现高效嵌入到D-Wave设备的本征伊辛哈密顿量中。
• 通过变量变换将实值间隔转换为二值变量，从而在非凸优化中使用量子退火。
• 确保所需二值变量的数量与训练样本数量无关，避免先前方法中二次增长的瓶颈。
• 将正则化风险表达式编译为与训练集规模无关的常数时间计算，支持高效的经典预处理与超参数调优。

实验结果

研究问题

• RQ1 是否可以构建非凸多项式损失函数，使其经验风险可表达为PUBO，从而可直接在量子退火硬件上使用？
• RQ2 与随训练集规模增长的先前QUBO嵌入方法相比，所提方法是否显著降低了量子比特开销？
• RQ3 与凸替代方法相比，这些多项式损失在二分类任务中对标签噪声的鲁棒性提升程度如何？
• RQ4 所得到的损失函数是否可实现与训练样本数量无关的常数时间评估，从而支持高效的经典超参数调优？
• RQ5 是否存在一条实用路径，可在不带来禁止性资源开销的前提下，利用量子退火实现机器学习中非凸风险最小化？

主要发现

• 所提出的非凸多项式损失函数可表达为PUBO形式，支持低开销直接映射至量子退火硬件。
• 嵌入所需的变量数量与训练样本数量无关，解决了先前方法的关键可扩展性瓶颈。
• 该方法对标签噪声具有鲁棒性——尤其在高达40%的标签被破坏时表现优异，优于凸方法。
• 损失函数可编译为可在常数时间内评估的正则化风险表达式，支持高效的经典预处理与超参数调优。
• 交叉验证结果表明，最优超参数（如 $ \lambda $, $ \omega $, $ q $）随噪声水平显著变化，证实了该方法对噪声数据的适应能力。
• 对于Long-Servedio和Mease-Wyner等数据集，当 $ \omega \approx 0.000001 $ 至 $ 0.000632 $ 时，六阶损失持续优于凸基线方法，尤其在高噪声环境下。