[论文解读] A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer

Tianbao Yang, Zhe Li+1 more|arXiv (Cornell University)|Sep 9, 2017

Sparse and Compressive Sensing Techniques参考文献 8被引用 3

一句话总结

本文提出了一种简单且新颖的分析方法，用于在具有任意凸正则化项的指数凸经验最小化问题中实现快速收敛速率，仅通过覆盖数和集中不等式，便实现了高概率下的 $ O(d\log n/n + d\log(1/\delta)/(n\sigma)) $ 收敛速率。该方法统一并扩展了此前针对正则化与非正则化指数凸问题的研究结果。

ABSTRACT

In this paper, we present a simple analysis of {\bf fast rates} with {\it high probability} of {\bf empirical minimization} for {\it stochastic composite optimization} over a finite-dimensional bounded convex set with exponential concave loss functions and an arbitrary convex regularization. To the best of our knowledge, this result is the first of its kind. As a byproduct, we can directly obtain the fast rate with {\it high probability} for exponential concave empirical risk minimization with and without any convex regularization, which not only extends existing results of empirical risk minimization but also provides a unified framework for analyzing exponential concave empirical risk minimization with and without {\it any} convex regularization. Our proof is very simple only exploiting the covering number of a finite-dimensional bounded set and a concentration inequality of random vectors.

研究动机与目标

• 在高概率下建立具有指数凸损失和任意凸正则化项的经验最小化问题的快速收敛速率。
• 克服标准经验风险最小化理论仅能给出 $ O(\sqrt{d/n}) $ 收敛速率的局限性，该速率在指数凸问题中为次优。
• 提供一个统一的框架，涵盖正则化与非正则化指数凸经验风险最小化问题。
• 发展一种无需复杂算法分析或对正则化项施加强于凸性之外的强假设的证明技术。
• 实现与目前已知的期望值下最优速率相匹配的快速收敛速率，但具有高概率保证。

提出的方法

• 利用有界、有限维凸集的覆盖数来控制度量熵。
• 应用关于随机向量的集中不等式，以控制经验风险与其期望之间的偏差。
• 分析正则化目标 $ P_n(\mathbf{w}) = \frac{1}{n}\sum f(\mathbf{w}, \mathbf{z}_i) + R(\mathbf{w}) $ 的经验最小化解 $ \widehat{\mathbf{w}} $，其中 $ f $ 是 $ \beta $-指数凸的，$ R $ 是凸的。
• 采用类似链式估计的方法，结合 $ \varepsilon $-网，并通过一致偏差控制来界定经验风险与真实风险之间的差异。
• 引入一种扰动论证，使用有界函数 $ g(\mathbf{w}) $ 来处理高概率分析中的正则化项。
• 通过设定 $ \varepsilon = 1/n $，$ \alpha = \log(2/\delta)/n $，并利用 $ \|\widehat{\mathbf{w}} - \mathbf{w}_*\|_2 \leq 2R $ 的有界性，推导出最终的收敛速率。

实验结果

研究问题

• RQ1 是否可以在高概率下为具有任意凸正则化项的指数凸经验风险最小化问题建立快速收敛速率？
• RQ2 是否可能在单一框架下统一分析正则化与非正则化指数凸经验风险最小化问题？
• RQ3 是否可以仅基于覆盖数与集中不等式，发展一种简单证明技术，实现快速收敛速率，而无需依赖复杂的优化算法？
• RQ4 具有任意凸正则化的指数凸经验风险最小化问题的最优高概率收敛速率是什么？
• RQ5 是否可以在不使用提升技术的前提下，去除速率中的 $ \log n $ 因子？

主要发现

• 本文为具有任意凸正则化项的指数凸损失的经验最小化解建立了高概率快速收敛速率 $ O\left(\frac{d\log n}{n} + \frac{d\log(1/\delta)}{n\sigma}\right) $。
• 该结果是首个在一般凸正则化下实现此类高概率速率的工作，且无需假设 $ R(\mathbf{w}) $ 为强凸。
• 证明过程简洁，仅依赖于覆盖数界和随机向量的集中不等式。
• 该框架统一了正则化与非正则化指数凸经验风险最小化问题的分析，为两种情形提供了统一的收敛速率。
• 该速率与目前已知的期望值下的最优速率（如 $ O(d/n) $）相比，仅多出一个 $ \log n $ 因子，而该因子在当前技术下已被证明是紧的。
• 一个开放问题仍为：是否可在不使用提升技术的前提下，去除 $ \log n $ 因子，提示未来研究的潜在方向。