[论文解读] Efficient online learning with kernels for adversarial large scale problems

Rémi Jézéquel, Pierre Gaillard+1 more|arXiv (Cornell University)|Feb 26, 2019

Advanced Bandit Algorithms Research参考文献 27被引用 3

一句话总结

该论文提出了一种高效的在线核学习算法，通过核近似方法使用基函数，在大规模对抗性数据集上实现了近乎最优的遗憾值。对于高斯核，它通过泰勒展开预计算基函数，实现了 $O((\log n)^{d+1})$ 的遗憾值和每轮 $O((\log n)^{2d})$ 的复杂度，适用于 $n \gg e^d$ 的情形。对于一般低有效维核，它采用数据自适应的Nystroem采样，在保持计算效率的同时优于以往的在线核方法。

ABSTRACT

We are interested in a framework of online learning with kernels for low-dimensional but large-scale and potentially adversarial datasets. We study the computational and theoretical performance of online variations of kernel Ridge regression. Despite its simplicity, the algorithm we study is the first to achieve the optimal regret for a wide range of kernels with a per-round complexity of order $n^α$ with $α< 2$. The algorithm we consider is based on approximating the kernel with the linear span of basis functions. Our contributions is two-fold: 1) For the Gaussian kernel, we propose to build the basis beforehand (independently of the data) through Taylor expansion. For $d$-dimensional inputs, we provide a (close to) optimal regret of order $O((\log n)^{d+1})$ with per-round time complexity and space complexity $O((\log n)^{2d})$. This makes the algorithm a suitable choice as soon as $n \gg e^d$ which is likely to happen in a scenario with small dimensional and large-scale dataset; 2) For general kernels with low effective dimension, the basis functions are updated sequentially in a data-adaptive fashion by sampling Nystr{ö}m points. In this case, our algorithm improves the computational trade-off known for online kernel regression.

研究动机与目标

• 解决标准核方法在每轮复杂度为 $O(n^2)$ 的大规模对抗性设置下所面临的挑战。
• 在对抗性数据序列下，实现在线核岭回归的最优或近乎最优遗憾保证。
• 在保持理论性能的同时，将计算复杂度降低至 $O(n^2)$ 以下，适用于高斯核和一般核。
• 开发一种适用于低维但高容量数据集的可扩展框架，其中 $n \gg e^d$ 的情况很常见。
• 提出一种统一方法，结合高斯核的预计算基函数与一般核的自适应Nystroem采样。

提出的方法

• 对于高斯核，利用核函数的泰勒展开预先构建基函数，以实现高效的在线更新。
• 通过预计算基函数的线性组合实现核近似，从而降低在线学习问题的维度。
• 应用指数梯度算法并采用修改后的核化预测规则，在降低复杂度的同时保持遗憾边界。
• 对于低有效维的一般核，使用顺序Nystroem采样动态选择地标点，维持核矩阵的低秩近似。
• 通过Cholesky更新（cholup）实现递归更新机制，实现实时高效计算逆矩阵和预测权重。
• 提出一种改进的核-AWV算法（PKAWV），结合Nystroem投影，降低复杂度同时保持遗憾保证。

实验结果

研究问题

• RQ1 我们能否在大规模数据集上实现在线核岭回归的近似最优遗憾值，且每轮复杂度低于 $O(n^2)$？
• RQ2 是否可以为高斯核预计算基函数，使得所得算法在保持最优遗憾值的同时实现次二次时间复杂度？
• RQ3 如何在在线方式下自适应选择Nystroem点，以在保持低计算成本和强遗憾性能的同时，适用于一般核？
• RQ4 我们能否在不牺牲理论遗憾保证的前提下，改进在线核回归中的计算权衡？
• RQ5 使用数据自适应的Nystroem采样是否能带来优于以往近似方法的遗憾边界，尤其是在对抗性数据存在的情况下？

主要发现

• 对于高斯核，所提方法实现了 $O((\log n)^{d+1})$ 的遗憾边界，接近该类核的最优值。
• 每轮的时间和空间复杂度为 $O((\log n)^{2d})$，显著优于标准核方法的 $O(n^2)$ 复杂度。
• 当 $n \gg e^d$ 时，该算法仍保持高效，这在低维大规模学习场景中是典型情况。
• 对于低有效维的一般核，数据自适应的Nystroem方法在保持遗憾边界 $\lambda \|f\|^2 + B^2 d_{\text{eff}}(\lambda)$ 的同时降低了复杂度，达到最优速率。
• 该方法避免了以往基于Nystroem的近似中出现的乘法因子 $m$ 和对 $C$ 的依赖，从而获得更稳健的遗憾保证。
• 该算法在 $n^\alpha$ 复杂度边界中 $\alpha < 2$ 的广泛核类中实现了最优遗憾，是首个实现此目标的方法。