[论文解读] Efficient Euclidean Projections onto the Intersection of Norm Balls

Adams Wei Yu, Hao Su+1 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Numerical Analysis Techniques参考文献 16被引用 6

一句话总结

该论文提出了一种高效的算法，用于计算到 ℓ₁ 与 ℓ₁,q 范数球（q=2 或 ∞）交集的欧几里得投影，将问题简化为求解一个分段光滑、单调的辅助函数的根，该根可通过二分法求解。对于 q=2，该方法的时间复杂度为 O(n + g log g)；对于 q=∞，时间复杂度为 O(n log n)，显著优于经典方法，在运行时间和内存使用方面表现更优，同时使具有复合范数约束的回归问题实现更快、更精确的求解。

ABSTRACT

Using sparse-inducing norms to learn robust models has received increasing attention from many fields for its attractive properties. Projection-based methods have been widely applied to learning tasks constrained by such norms. As a key building block of these methods, an efficient operator for Euclidean projection onto the intersection of $\ell_1$ and $\ell_{1,q}$ norm balls $(q=2 ext{or}\infty)$ is proposed in this paper. We prove that the projection can be reduced to finding the root of an auxiliary function which is piecewise smooth and monotonic. Hence, a bisection algorithm is sufficient to solve the problem. We show that the time complexity of our solution is $O(n+g\log g)$ for $q=2$ and $O(n\log n)$ for $q=\infty$, where $n$ is the dimensionality of the vector to be projected and $g$ is the number of disjoint groups; we confirm this complexity by experimentation. Empirical study reveals that our method achieves significantly better performance than classical methods in terms of running time and memory usage. We further show that embedded with our efficient projection operator, projection-based algorithms can solve regression problems with composite norm constraints more efficiently than other methods and give superior accuracy.

研究动机与目标

• 开发一种用于欧几里得投影到 ℓ₁ 与 ℓ₁,q 范数球交集的高效计算原语，此类范数在稀疏学习中被广泛使用。
• 解决依赖于此类投影的基于投影的优化方法中的计算瓶颈问题。
• 降低求解具有复合范数约束的回归问题时的时间与内存开销。
• 在高维设置下，通过使用诱导稀疏性的范数，实现可扩展且精确的学习。

提出的方法

• 将投影问题简化为寻找一个分段光滑且单调的辅助函数的根，从而可通过二分法高效求解。
• 利用 ℓ₁ 与 ℓ₁,q 范数球交集的结构，推导出投影的闭式表征。
• 对于 q=2，该算法对变量进行分组，并在对偶变量上应用二分法，实现 O(n + g log g) 的时间复杂度。
• 对于 q=∞，该方法采用基于排序的方法，实现 O(n log n) 的时间复杂度。
• 通过自适应精度控制实现算法，以在准确度与速度之间取得平衡。
• 将投影算子嵌入标准优化框架中，用于求解具有复合范数约束的回归问题。

实验结果

研究问题

• RQ1 我们能否比现有方法更高效地计算到 ℓ₁ 与 ℓ₁,q 范数球交集的欧几里得投影？
• RQ2 此类投影的计算复杂度是多少？能否利用问题特有结构进一步降低复杂度？
• RQ3 与经典方法相比，该方法在运行时间和内存使用方面表现如何？
• RQ4 高效的投影算子能否提升基于投影的学习算法的性能？
• RQ5 该方法对求解具有复合范数约束的回归问题有何影响？

主要发现

• 所提方法在 q=2 时达到 O(n + g log g) 的时间复杂度，在 q=∞ 时达到 O(n log n) 的时间复杂度，实验验证结果与理论边界一致。
• 在合成数据集与真实世界数据集上，该算法相比经典投影方法显著降低了运行时间和内存占用。
• 当嵌入基于投影的求解器后，该方法在具有复合范数约束的回归任务中实现了更快的收敛速度与更优的精度。
• 基于二分法的根求解方法在各类问题实例中均表现出良好的数值稳定性与鲁棒性。
• 实证结果表明，该方法在维度与组数增加时仍能保持良好的可扩展性与高效率。