[论文解读] Black-Box Reductions for Parameter-free Online Learning in Banach Spaces

Ashok Cutkosky, Francesco Orabona|arXiv (Cornell University)|Feb 17, 2018

Advanced Bandit Algorithms Research被引用 8

一句话总结

本文提出了新颖的黑箱约化方法，简化了巴拿赫空间中无参数在线学习算法的设计，将复杂的高维问题约化为一维优化和无约束设置。其 regret 上界得到改进，形式为 $ O\big(\|\mathring{w}\| \sqrt{\sum_{t=1}^T \|g_t\|_\star^2 \ln(\|\mathring{w}\| \sum_{t=1}^T \|g_t\|_\star^2 + 1)}\big) $，运行时间与在线梯度下降相当，并适用于任意范数。

ABSTRACT

We introduce several new black-box reductions that significantly improve the design of adaptive and parameter-free online learning algorithms by simplifying analysis, improving regret guarantees, and sometimes even improving runtime. We reduce parameter-free online learning to online exp-concave optimization, we reduce optimization in a Banach space to one-dimensional optimization, and we reduce optimization over a constrained domain to unconstrained optimization. All of our reductions run as fast as online gradient descent. We use our new techniques to improve upon the previously best regret bounds for parameter-free learning, and do so for arbitrary norms.

研究动机与目标

• 通过将复杂的优化问题约化为更简单、更易理解的设置，简化自适应、无参数在线学习算法的设计。
• 在无需参数调优的情况下，改进巴拿赫空间中在线学习的 regret 保证。
• 将先前结果从欧几里得范数和希尔伯特空间设置推广到任意范数和约束域。
• 保持计算效率，确保运行时间与在线梯度下降相当。

提出的方法

• 使用黑箱变换，将无参数在线学习约化为在线指数凹优化。
• 通过一种新颖的约化框架，将任意巴拿赫空间中的优化约化为一维在线优化。
• 将子集 $ W \subset V $ 上的约束在线学习约化为更大空间 $ V $ 上的无约束优化，同时保持 regret 保证。
• 在约化后的一维设置中，采用递归平均机制与自适应权重来控制 regret。
• 使用对偶范数 $ \|\cdot\|_\star $ 衡量次梯度大小，并通过精心设计的势函数确保稳定性。
• 应用柯西-施瓦茨不等式和错位求和技巧，将 regret 以累积次梯度范数和自适应权重的形式进行有界。

实验结果

研究问题

• RQ1 是否可以将巴拿赫空间中的无参数在线学习约化为更简单的一维优化问题，且不损失 regret 性能？
• RQ2 如何改进 regret 上界，使其依赖于 $ \|g_t\|_\star^2 $ 而非 $ \|g_t\|_\star $，特别是在损失函数平滑时？
• RQ3 能否构造出既具通用性（适用于任意范数）又具高效性（运行时间与在线梯度下降相当）的约化方法？
• RQ4 该框架能否扩展以处理约束域和多尺度专家问题，同时保持最优 regret？
• RQ5 是否可能仅使用一阶信息，就实现一般凸损失的 $ \tilde{O}(\sqrt{T}) $ regret 和强凸损失的对数 regret？

主要发现

• 本文实现了 regret 上界 $ R_T(\mathring{w}) \leq \|\mathring{w}\| \sqrt{\sum_{t=1}^T \|g_t\|_\star^2 \ln\left(\|\mathring{w}\| \sum_{t=1}^T \|g_t\|_\star^2 + 1\right)} $，相比先前工作，其依赖关系中用 $ \|g_t\|_\star^2 $ 替代了 $ \|g_t\|_\star $，实现改进。
• 该 regret 上界在对数因子意义下为最优，且适用于任意范数，突破了仅限于 2-范数设置的限制。
• 所有约化方法的运行时间与在线梯度下降相当，确保了计算效率。
• 该框架在多尺度专家问题中实现了改进的 regret 和运行时间，与先前结果相比达到或超越。
• 该方法仅使用一阶信息，即实现了对一般凸损失的 $ \tilde{O}(\sqrt{T}) $ regret 和对强凸损失的对数 regret。
• 分析过程显著简化，避免了复杂代数运算，并推广至巴拿赫空间。