[论文解读] Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization

Wei Jiang, Gang Li+3 more|arXiv (Cornell University)|Jul 18, 2022

Risk and Portfolio Optimization被引用 4

一句话总结

本文提出了多区块-单探针方差缩减（MSVR）估计器，用于求解形式为 $\sum_{i=1}^{m}f_i(g_i(\mathbf{w}))$ 的耦合复合优化问题，其中每次迭代仅能采样 $\mathcal{O}(1)$ 个 $g_i(\mathbf{w})$ 块。通过引入一种定制化的误差校正项，有效降低了采样与未采样块中的噪声，实现了更优的样本复杂度：非凸问题为 $\mathcal{O}(\epsilon^{-3})$，凸问题为 $\mathcal{O}(\epsilon^{-2})$，强凸问题为 $\mathcal{O}(\mu^{-1}\epsilon^{-1})$，达到或超越了当前最先进结果。

ABSTRACT

Variance reduction techniques such as SPIDER/SARAH/STORM have been extensively studied to improve the convergence rates of stochastic non-convex optimization, which usually maintain and update a sequence of estimators for a single function across iterations. What if we need to track multiple functional mappings across iterations but only with access to stochastic samples of $\mathcal{O}(1)$ functional mappings at each iteration? There is an important application in solving an emerging family of coupled compositional optimization problems in the form of $\sum_{i=1}^m f_i(g_i(\mathbf{w}))$, where $g_i$ is accessible through a stochastic oracle. The key issue is to track and estimate a sequence of $\mathbf g(\mathbf{w})=(g_1(\mathbf{w}), \ldots, g_m(\mathbf{w}))$ across iterations, where $\mathbf g(\mathbf{w})$ has $m$ blocks and it is only allowed to probe $\mathcal{O}(1)$ blocks to attain their stochastic values and Jacobians. To improve the complexity for solving these problems, we propose a novel stochastic method named Multi-block-Single-probe Variance Reduced (MSVR) estimator to track the sequence of $\mathbf g(\mathbf{w})$. It is inspired by STORM but introduces a customized error correction term to alleviate the noise not only in stochastic samples for the selected blocks but also in those blocks that are not sampled. With the help of the MSVR estimator, we develop several algorithms for solving the aforementioned compositional problems with improved complexities across a spectrum of settings with non-convex/convex/strongly convex/Polyak-Łojasiewicz (PL) objectives. Our results improve upon prior ones in several aspects, including the order of sample complexities and dependence on the strong convexity parameter. Empirical studies on multi-task deep AUC maximization demonstrate the better performance of using the new estimator.

研究动机与目标

• 解决在计算或内存受限条件下，每次迭代仅能探测 $\mathcal{O}(1)$ 个 $g_i(\mathbf{w})$ 块的耦合复合优化问题。
• 在仅部分块可访问的情况下，降低估计 $\mathbf{g}(\mathbf{w}) = (g_1(\mathbf{w}), \dots, g_m(\mathbf{w}))$ 时的方差。
• 改进先前方法（如 SOX）在非凸目标下存在次优 $\mathcal{O}(m\epsilon^{-4})$ 复杂度的问题，实现更优的样本复杂度。
• 设计一种方差缩减估计器，通过定制化的误差校正机制，同时考虑采样块与未采样块中的噪声。
• 在有限和期望形式的复合优化问题中，实现非凸、凸与强凸目标下的最先进样本复杂度。

提出的方法

• 提出 MSVR 估计器，一种多区块、单探针的方差缩减技术，可在迭代过程中为每个块 $g_i(\mathbf{w})$ 维护估计器 $\mathbf{u}_t^i$。
• 在 STORM 框架基础上引入定制化的误差校正项：$(1-\beta)(g_i(\mathbf{w}_t;\xi_t^i) - g_i(\mathbf{w}_{t-1};\xi_t^i))$，以降低采样与未采样块中的噪声。
• 采用混合采样策略：每次迭代仅探测 $\mathcal{O}(1)$ 个块，但通过带误差校正的递归更新，持续追踪全部 $m$ 个块。
• 将 MSVR 估计器集成至有限和期望形式的复合优化算法中，实现更优的收敛速率。
• 采用自适应步长与递归更新规则，在迭代过程中平衡收敛性与方差缩减。
• 将 MSVR 估计器应用于多任务深度 AUC 最大化任务，实证结果表明其优于基线方法（如 SOX）。

实验结果

研究问题

• RQ1 能否设计一种方差缩减估计器，在每次迭代仅采样 $\mathcal{O}(1)$ 个块的条件下，仍能有效追踪多个函数映射 $g_i(\mathbf{w})$ 的变化？
• RQ2 引入定制化的误差校正项是否能提升耦合复合优化中的收敛速度与样本复杂度？
• RQ3 所提出的 MSVR 估计器能否在非凸、凸与强凸目标下，实现优于 SOX 及其他先前方差缩减方法的样本复杂度？
• RQ4 在实际机器学习任务（如多任务 AUC 最大化）中，MSVR 估计器相较于现有方法表现如何？
• RQ5 所提算法在不同问题类别（非凸、凸、强凸）下的理论样本复杂度是多少？

主要发现

• MSVR 估计器在非凸目标下实现了 $\mathcal{O}(\epsilon^{-3})$ 的样本复杂度，优于 SOX 的先前复杂度 $\mathcal{O}(m\epsilon^{-4})$。
• 对于凸目标，该方法实现了 $\mathcal{O}(\epsilon^{-2})$ 的样本复杂度，与当前最先进水平一致，并优于 SOX 的 $\mathcal{O}(m\epsilon^{-3})$。
• 在强凸情况下，该方法达到 $\mathcal{O}(\mu^{-1}\epsilon^{-1})$ 的样本复杂度，与最优结果一致，并优于 SOX 的 $\mathcal{O}(m\mu^{-2}\epsilon^{-1})$。
• 在多任务 AUC 最大化任务上的实证结果表明，MSVR-v1、MSVR-v2 和 MSVR-v3 均优于 SOX 及使用标准 STORM 估计器的变体。
• 消融实验表明，定制化的误差校正项至关重要，若替换为标准 STORM 更新方式，性能将显著下降。
• 在不同批量大小 $B_1$ 与 $B_2$ 下的实验验证了理论收敛趋势，结果表明更大的批量可实现更快收敛。