[论文解读] A First-Order Algorithmic Framework for Wasserstein Distributionally Robust Logistic Regression

Jiajin Li, Sen Huang+1 more|arXiv (Cornell University)|Oct 28, 2019

Statistical Methods and Inference参考文献 27被引用 10

一句话总结

本文提出了一种一阶算法框架，即线性化邻近交替方向乘子法（LP-ADMM），以高效求解Wasserstein分布鲁棒逻辑回归（DRLR）问题。该方法实现了次线性收敛，且在合成数据集和真实世界数据集上，其速度相比现成求解器最高提升800倍，同时保持了相当的精度。

ABSTRACT

Wasserstein distance-based distributionally robust optimization (DRO) has received much attention lately due to its ability to provide a robustness interpretation of various learning models. Moreover, many of the DRO problems that arise in the learning context admits exact convex reformulations and hence can be tackled by off-the-shelf solvers. Nevertheless, the use of such solvers severely limits the applicability of DRO in large-scale learning problems, as they often rely on general purpose interior-point algorithms. On the other hand, there are very few works that attempt to develop fast iterative methods to solve these DRO problems, which typically possess complicated structures. In this paper, we take a first step towards resolving the above difficulty by developing a first-order algorithmic framework for tackling a class of Wasserstein distance-based distributionally robust logistic regression (DRLR) problem. Specifically, we propose a novel linearized proximal ADMM to solve the DRLR problem, whose objective is convex but consists of a smooth term plus two non-separable non-smooth terms. We prove that our method enjoys a sublinear convergence rate. Furthermore, we conduct three different experiments to show its superb performance on both synthetic and real-world datasets. In particular, our method can achieve the same accuracy up to 800+ times faster than the standard off-the-shelf solver.

研究动机与目标

• 解决现成内点法求解器在大规模学习中处理Wasserstein DRLR问题时的可扩展性局限。
• 为包含非可分、非光滑项的DRLR凸重 formulation 开发一种一阶算法框架。
• 克服在有限标签可靠性（κ < ∞）条件下DRLR缺乏高效迭代方法的问题，该情况在实际中具有重要意义但研究不足。
• 为一种新颖的线性化邻近ADMM方法在β-子问题上的理论收敛性保证和实际效率提供支持。
• 在合成数据集和真实世界数据集上，相比标准求解器和其他一阶方法，展示出更优的性能。

提出的方法

• 提出线性化邻近ADMM（LP-ADMM）以求解DRLR公式中的β-子问题，该问题包含一个光滑的对数损失项以及两个非可分的非光滑项。
• 为对偶变量更新引入一种一阶局部模型，用线性逼近替代标准的二次惩罚项，以提升计算效率。
• 利用[19]中提出的DRLR的精确凸重 formulation，该 formulation 表现为对β和λ的最小化问题，其中包含涉及β的对偶范数的约束。
• 在ADMM子问题中引入邻近项，以稳定收敛并实现高效子问题求解。
• 在ADMM中实现自适应步长，以提升在病态真实世界数据上的实际性能。
• 将LP-ADMM集成到一个更广泛的算法框架中，通过在β和λ之间交替最小化来处理完整的DRLR问题。

实验结果

研究问题

• RQ1 一阶方法是否能在有限标签可靠性（κ < ∞）的Wasserstein DRLR问题中实现实际效率和收敛性保证？
• RQ2 线性化邻近ADMM是否在求解DRLR的β-子问题时优于标准ADMM和其他一阶方法？
• RQ3 LP-ADMM在大规模DRLR问题上的理论和实际性能与现成求解器（如YALMIP）相比如何？
• RQ4 所提出的框架是否能在显著快于现有方法的收敛速度下，保持高测试精度？
• RQ5 使用对偶更新的局部模型是否能提升在病态真实世界数据上的收敛速度和鲁棒性？

主要发现

• LP-ADMM方法实现了次线性收敛速率，为其收敛行为提供了理论保证。
• 在真实世界数据集上，LP-ADMM在保持与YALMIP相当的测试精度的同时，速度最高快达800倍，展现出卓越的计算效率。
• 在合成实验中，LP-ADMM在收敛速度和次优性差距减少方面显著优于SADMM、PDHG、LADMM和投影次梯度方法。
• 自适应LP-ADMM在大规模实例上表现出更好的可扩展性，性能优势随问题规模增大而提升。
• 在所有测试数据集（包括MNIST和a1a）上，κ = 7的DRLR模型始终优于标准逻辑回归和正则化逻辑回归。
• 该框架成功处理了病态数据矩阵，而基线一阶方法在这些情况下无法收敛到高精度，而LP-ADMM仍保持了稳健性能。