[论文解读] An iterative regularized mirror descent method for ill-posed nondifferentiable stochastic optimization

Mostafa Amini, Farzad Yousefian|arXiv (Cornell University)|Jan 28, 2019

Sparse and Compressive Sensing Techniques参考文献 43被引用 5

一句话总结

本文提出了一种迭代正则化随机镜像下降（IR-SMD）方法，用于求解病态的、不可微的、随机的双层优化问题，其中内层和外层目标函数均以期望形式给出，且可能缺乏光滑性。该方法自适应地更新步长和正则化参数，在几乎必然意义和均值意义下收敛至最优解，收敛速率为 $\mathcal{O}(1/N^{0.5-\delta})$，并在合成数据和真实世界文本分类问题上得到验证。

ABSTRACT

A wide range of applications arising in machine learning and signal processing can be cast as convex optimization problems. These problems are often ill-posed, i.e., the optimal solution lacks a desired property such as uniqueness or sparsity. In the literature, to address ill-posedness, a bilevel optimization problem is considered where the goal is to find among optimal solutions of the inner level optimization problem, a solution that minimizes a secondary metric, i.e., the outer level objective function. In addressing the resulting bilevel model, the convergence analysis of most existing methods is limited to the case where both inner and outer level objectives are differentiable deterministic functions. While these assumptions may not hold in big data applications, to the best of our knowledge, no solution method equipped with complexity analysis exists to address presence of uncertainty and nondifferentiability in both levels in this class of problems. Motivated by this gap, we develop a first-order method called Iterative Regularized Stochastic Mirror Descent (IR-SMD). We establish the global convergence of the iterate generated by the algorithm to the optimal solution of the bilevel problem in an almost sure and a mean sense. We derive a convergence rate of ${\cal O}\left(1/N^{0.5-δ} ight)$ for the inner level problem, where $δ>0$ is an arbitrary small scalar. Numerical experiments for solving two classes of bilevel problems, including a large scale binary text classification application, are presented.

研究动机与目标

• 解决在双层问题中，内层与外层目标函数均不可微时，缺乏具有复杂度分析的首阶方法的问题。
• 开发一种方法，确保在不确定性和非光滑性条件下，全局收敛至双层问题的最优解。
• 在自适应参数更新下，建立对可行解间隙和迭代序列的收敛速率。
• 在大规模问题上验证该方法，包括使用 RCV1 数据集的二值文本分类任务。
• 将现有随机镜像下降框架扩展至处理外层目标具有强凸性、内层目标具有随机性和非光滑性的双层结构。

提出的方法

• 提出迭代正则化随机镜像下降（IR-SMD）算法，该算法在每次迭代中同时更新步长和正则化参数。
• 基于迭代次数和问题参数，采用自适应更新规则来调整步长 $\gamma_k$ 和正则化参数 $\lambda_k$。
• 采用基于 Bregman 散度的镜像下降框架，以处理非欧几里得几何，适用于高维和稀疏问题。
• 在每次迭代中引入正则化子问题，以稳定收敛并促进稀疏性等期望解的性质。
• 应用平均化技术，以提升期望意义下的收敛性，并实现几乎必然收敛至最优解。
• 在假设外层目标函数为凸、外层目标具有强凸性、且随机次梯度有界的前提下，推导出收敛性保证。

实验结果

研究问题

• RQ1 能否为双层问题中两层目标函数均不可微的病态随机双层优化问题设计一种首阶方法？
• RQ2 何种自适应的步长与正则化参数更新规则可确保在几乎必然意义和均值意义下的全局收敛？
• RQ3 在这些更新规则下，可行解间隙与迭代序列的收敛速率可建立为何种形式？
• RQ4 该方法在具有不确定性和非光滑性的大规模问题（如文本分类）上的表现如何？
• RQ5 在存在随机性、非光滑性和病态性目标函数的情况下，该方法能否实现近似最优的收敛速率？

主要发现

• 在所提出的自适应步长与正则化参数更新规则下，IR-SMD 方法在几乎必然意义和均值意义下均收敛至双层问题的唯一最优解。
• 建立了期望可行解间隙的收敛速率 $\mathcal{O}(1/N^{0.5-\delta})$，其中 $\delta > 0$ 为任意小的标量。
• 在合成线性反问题上的数值实验表明，该方法在不同初始值和参数设置下均表现出一致的收敛性。
• 在包含 150,000 篇文章和 138,921 个词元的 RCV1 文本分类数据集上，该方法成功诱导出稀疏性，并收敛至低损失解。
• 该方法对初始条件具有鲁棒性，在 $x_0 = -10\mathbf{1}_n$、$\mathbf{0}_n$ 和 $10\mathbf{1}_n$ 下均表现出相似的收敛行为。
• 该算法在整个迭代过程中保持较低的可行解间隙和目标函数值，且在 10,000 条样本路径上，损失函数呈对数下降趋势。