[论文解读] Distributionally Robust Logistic Regression

Soroosh Shafieezadeh-Abadeh, Peyman Mohajerin Esfahani+1 more|arXiv (Cornell University)|Sep 30, 2015

Risk and Portfolio Optimization参考文献 33被引用 178

一句话总结

该论文提出了一种基于Wasserstein距离构建模糊集的分布鲁棒逻辑回归模型，以经验分布为中心，确保了分布外性能的保证。该方法将鲁棒优化问题转化为可处理的锥规划形式，推广了经典和正则化逻辑回归，同时通过线性规划提供了可计算的误分类风险置信区间。

ABSTRACT

This paper proposes a distributionally robust approach to logistic regression. We use the Wasserstein distance to construct a ball in the space of probability distributions centered at the uniform distribution on the training samples. If the radius of this ball is chosen judiciously, we can guarantee that it contains the unknown data-generating distribution with high confidence. We then formulate a distributionally robust logistic regression model that minimizes a worst-case expected logloss function, where the worst case is taken over all distributions in the Wasserstein ball. We prove that this optimization problem admits a tractable reformulation and encapsulates the classical as well as the popular regularized logistic regression problems as special cases. We further propose a distributionally robust approach based on Wasserstein balls to compute upper and lower confidence bounds on the misclassification probability of the resulting classifier. These bounds are given by the optimal values of two highly tractable linear programs. We validate our theoretical out-of-sample guarantees through simulated and empirical experiments.

研究动机与目标

• 解决在训练数据稀疏或噪声较大时经典逻辑回归分布外性能差的问题。
• 开发一种基于分布鲁棒优化的系统性正则化框架，避免使用临时性技术。
• 提供具有概率可解释性的正则化方法，并对泛化性能提供理论保证。
• 计算所得分类器误分类概率的可计算上下限置信区间。

提出的方法

• 构建以训练样本经验分布为中心的Wasserstein球，半径选择使得以概率方式包含真实数据生成分布。
• 制定一个分布鲁棒优化问题，最小化Wasserstein球内所有分布的最坏情况期望对数损失。
• 利用对偶理论推导出鲁棒问题的可处理重述形式，得到涉及对偶范数和指示函数表示的锥优化问题。
• 将分类损失表示为有限个凹函数的最大值，以实现凸松弛并应用对偶性。
• 将鲁棒问题重述为包含对偶范数和松弛变量的额外变量与约束的线性规划。
• 推导出误分类概率的可计算置信区间的最优值，作为两个高度可处理的线性规划的最优解。

实验结果

研究问题

• RQ1 在数据稀疏或分布偏移情况下，分布鲁棒优化框架是否能提升逻辑回归的分布外性能？
• RQ2 如何通过概率分布空间中的模糊集，为逻辑回归中的正则化提供概率解释？
• RQ3 所得鲁棒优化问题的计算复杂度如何？是否可重述为可处理形式？
• RQ4 所提方法能否提供严格且可计算的分类器误分类概率置信区间？
• RQ5 该方法与经典及正则化逻辑回归公式之间有何关系？是否可作为其推广？

主要发现

• 分布鲁棒逻辑回归问题具有可处理的锥重述形式，可作为经典和正则化逻辑回归的特例统一推广。
• 通过涉及对偶范数和松弛变量的锥规划，可高效求解鲁棒优化问题，支持实际应用。
• 最坏情况风险（误分类概率）的上下限由两个线性规划的最优值界定，提供可计算的置信区间。
• 该方法提供了非渐近的、高概率的保证：用户指定置信度下，真实数据生成分布以高概率位于Wasserstein球内。
• 通过Wasserstein半径和对偶范数结构，方法自然地引入正则化，为临时正则化提供系统性替代方案。