[论文解读] Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization

Francis Bach|arXiv (Cornell University)|Jul 28, 2017

Stochastic Gradient Optimization Techniques参考文献 20被引用 6

一句话总结

该论文通过在单变量测度空间上对子模优化进行凸松弛，提出了一类高效的时间多项式算法，用于非凸等渗回归。它基于零阶、一阶及高阶预言机提出了新颖的离散化方案，将函数评估次数从 $O(1/ε^3)$ 降低至 $O(1/ε^{2+1/3})$，并证明了非凸损失函数在保持全局最优性保证的同时，显著提升了对异常值的鲁棒性。

ABSTRACT

We consider the minimization of submodular functions subject to ordering constraints. We show that this optimization problem can be cast as a convex optimization problem on a space of uni-dimensional measures, with ordering constraints corresponding to first-order stochastic dominance. We propose new discretization schemes that lead to simple and efficient algorithms based on zero-th, first, or higher order oracles; these algorithms also lead to improvements without isotonic constraints. Finally, our experiments show that non-convex loss functions can be much more robust to outliers for isotonic regression, while still leading to an efficient optimization problem.

研究动机与目标

• 将高效优化方法从凸等渗回归推广至非凸、子模损失函数。
• 基于测度空间上的凸松弛，为子模等渗回归设计时间多项式算法。
• 设计新型离散化方案，以提升零阶、一阶及高阶预言机的收敛速度。
• 在对抗性数据污染条件下，证明非凸损失函数在等渗回归中的鲁棒性。
• 将子模优化技术推广至具有等渗约束及其他约束（如平滑性先验）的问题。

提出的方法

• 将子模等渗回归建模为单变量测度空间上的凸优化问题，将等渗约束映射为一阶随机优势。
• 使用逆累积分布函数 $F_{\mu_i}(x_i) = \mu_i([x_i,1])$ 表示测度及其逆 $F_{\mu_i}^{-1}(t_i)$ 以实现重构。
• 基于泰勒展开（一阶与二阶）引入新型离散化方案，以超越朴素离散化方法的收敛性能。
• 在可分情况下，使用Dykstra交替投影算法结合相邻池化法（PAV）实现对链式约束的高效投影。
• 利用目标函数的平滑性特性加速收敛，尤其在使用二阶预言机时效果显著。
• 对不可分问题采用带自适应步长的次梯度下降法，并通过数值实验验证其有效性。

实验结果

研究问题

• RQ1 具有等渗约束的子模函数能否在测度空间上重述为凸问题？
• RQ2 如何设计离散化方案以降低子模优化中函数评估的复杂度？
• RQ3 高阶预言机（一阶、二阶）在非凸等渗回归中在多大程度上提升了收敛速度？
• RQ4 在等渗回归中，非凸损失函数是否比凸损失函数展现出更好的异常值鲁棒性？
• RQ5 所提出的框架能否推广至等渗性以外的其他形状约束？

主要发现

• 通过二阶离散化方案，所提框架将函数评估次数从 $O(1/\varepsilon^3)$ 降低至 $O(1/\varepsilon^{2+1/3})$。
• 非凸损失函数（如对数损失或绝对损失）在等渗回归中对高达50%的数据污染表现出显著增强的鲁棒性。
• 对于可分问题，平滑函数的误差衰减率为 $1/k^2$，非平滑函数为 $1/k$，与理论预测一致。
• 当Hessian有界时，二阶离散化方案显著提升收敛速度，优于一阶与朴素方案。
• 即使在高程度对抗性污染下，该方法仍保持全局最优性保证，额外实验表明其在高达75%数据污染下仍具鲁棒性。
• 该框架可推广至等渗约束之外，即使在无等渗约束时，也能实现子模函数的高效优化。