[论文解读] Improved Quantum Boosting

Adam Izdebski, Ronald de Wolf|UvA-DARE (University of Amsterdam)|Sep 17, 2020

Machine Learning and Algorithms参考文献 23被引用 4

一句话总结

本文提出 QuantumSmoothBoost，一种基于 Servedio 的 SmoothBoost 的新型量子提升算法，相较于经典方法及先前的量子提升方法实现了显著加速。通过利用量子近似计数和高效的量子态制备，其对弱学习器优势 $\gamma$ 的依赖关系从 $1/\gamma^{11}$ 降低至 $1/\gamma^5$，同时保持与 VC 维数 $d$ 的 $\tilde{O}(\sqrt{d})$ 缩放关系，从而在关键参数上实现了多项式量子加速优势。

ABSTRACT

Boosting is a general method to convert a weak learner (which generates hypotheses that are just slightly better than random) into a strong learner (which generates hypotheses that are much better than random). Recently, Arunachalam and Maity gave the first quantum improvement for boosting, by combining Freund and Schapire's AdaBoost algorithm with a quantum algorithm for approximate counting. Their booster is faster than classical boosting as a function of the VC-dimension of the weak learner's hypothesis class, but worse as a function of the quality of the weak learner. In this paper we give a substantially faster and simpler quantum boosting algorithm, based on Servedio's SmoothBoost algorithm.

研究动机与目标

• 开发一种更快更简单的量子提升算法，以改进 Arunachalam 和 Maity（2020）提出的量子提升方法。
• 降低对弱学习器优势 $\gamma$ 的依赖，该依赖关系曾限制了提升方法中的量子加速。
• 在保持对标签噪声鲁棒性的同时，实现在 $\gamma$ 和 VC 维数 $d$ 上的多项式量子加速。
• 探索在弱学习器具有高 VC 维数和中等 $\gamma$ 的场景下，量子提升的可行性，此类场景中量子加速可能最具影响力。

提出的方法

• 该算法以 Servedio 的 SmoothBoost 作为经典基础，其对标签噪声更具鲁棒性，且相较于 AdaBoost 更适合实现量子加速。
• 在每轮迭代中，使用量子近似计数（通过振幅估计算法）估计总误分类权重，以量子振幅估计算法替代经典计数。
• 利用量子态制备技术高效准备样本上的分布 $D^t$，将分布更新的代价从 $O(m)$ 降低至每轮迭代 $\tilde{O}(T/\sqrt{\varepsilon})$。
• 该算法维持弱分类器的加权组合，系数 $\alpha_t$ 由估计的误差推导得出，并利用对弱学习器输出的量子访问来计算误分类权重 $M_i^t$。
• 迭代次数保持为 $T = \tilde{O}(1/\varepsilon\gamma^2)$，与经典 SmoothBoost 一致，但每轮迭代通过量子子程序实现加速。
• 整体复杂度通过组合量子子程序得出：$\tilde{O}(T(W/\sqrt{\varepsilon} + \sqrt{m}))$，最终运行时间为 $\tilde{O}(W/\varepsilon^{2.5}\gamma^4 + \sqrt{d}/\varepsilon^{3.5}\gamma^5)$。

实验结果

研究问题

• RQ1 能否设计一种量子提升算法，使其对弱学习器优势 $\gamma$ 的依赖关系优于先前的量子提升方法？
• RQ2 是否可能在保持对标签噪声鲁棒性的同时，实现与 VC 维数 $d$ 成有利缩放关系的量子加速？
• RQ3 通过采用不同的 SmoothBoost 量子公式化方法或其他提升变体，能否减少量子提升中的迭代次数？
• RQ4 量子版 SmoothBoost 是否保留了经典 SmoothBoost 对恶意标签噪声的鲁棒性，特别是对误标样本的惩罚较弱？
• RQ5 能否将量子提升扩展至无害学习或结构化噪声模型（如 Massart 或 Tsybakov 噪声）？

主要发现

• QuantumSmoothBoost 实现了 $\tilde{O}(W/\varepsilon^{2.5}\gamma^4 + \sqrt{d}/\varepsilon^{3.5}\gamma^5)$ 的运行时间，相较于 Arunachalam 和 Maity 提出的量子 AdaBoost 变体的 $\tilde{O}(W^{1.5}\sqrt{d}/\gamma^{11})$ 复杂度，实现了多项式改进。
• 该算法将对 $\gamma$ 的依赖关系从 $1/\gamma^{11}$ 改进至 $1/\gamma^5$，显著提升了弱学习器优势较小但非可忽略时的性能。
• 对 VC 维数 $d$ 的依赖关系缩放为 $\tilde{O}(\sqrt{d})$，与经典 SmoothBoost 一致，且在该参数上提供了量子加速优势。
• 当 $\varepsilon = \delta = 1/3$ 时，复杂度简化为 $\tilde{O}(W/\gamma^4 + \sqrt{d}/\gamma^5)$，显著快于先前的量子提升方法。
• 该方法保持了经典 SmoothBoost 对恶意标签噪声的鲁棒性，因为分布更新仅对误标样本施加微弱惩罚。
• 该算法使用量子振幅估计算法以 1.1 倍乘法误差估计误分类权重，从而在每轮迭代中实现高效且精确的分布更新。