[论文解读] Expanded Alternating Optimization of Nonconvex Functions with Applications to Matrix Factorization and Penalized Regression

William J. Murdoch, Mu Zhu|arXiv (Cornell University)|Dec 12, 2014

Sparse and Compressive Sensing Techniques参考文献 12被引用 3

一句话总结

该论文提出了一种扩展交替优化（EAO）框架，通过在标准交替优化之后对新型、问题特定的子空间进行额外搜索，以改进矩阵分解和惩罚回归中的非凸优化。该方法显著提升了收敛性和解的质量，尤其在针对数据结构进行定制时效果更明显，在真实世界和模拟数据集上使用MC+和SparseNet惩罚项均表现出改进。

ABSTRACT

We propose a general technique for improving alternating optimization (AO) of nonconvex functions. Starting from the solution given by AO, we conduct another sequence of searches over subspaces that are both meaningful to the optimization problem at hand and different from those used by AO. To demonstrate the utility of our approach, we apply it to the matrix factorization (MF) algorithm for recommender systems and the coordinate descent algorithm for penalized regression (PR), and show meaningful improvements using both real-world (for MF) and simulated (for PR) data sets. Moreover, we demonstrate for MF that, by constructing search spaces customized to the given data set, we can significantly increase the convergence rate of our technique.

研究动机与目标

• 解决标准交替优化（AO）在非凸问题中的局限性，其通常收敛于较差的局部极小值或鞍点。
• 通过探索超越标准AO更新的子空间，提升推荐系统中矩阵分解的解质量和收敛速度。
• 在高维设置下，提升具有非凸惩罚（如MC+）的惩罚回归中坐标下降的性能。
• 开发一种系统化方法，探索对问题有意义且不同于AO原始块的替代搜索方向。
• 证明根据数据特征定制搜索子空间可显著加速EAO的收敛并改善最终目标值。

提出的方法

• 提出扩展交替优化（EAO）：在标准AO收敛后，对AO中未使用的新型、问题特定的子空间进行第二阶段优化。
• 基于问题的结构特性定义新子空间——例如，矩阵分解中的低秩结构或回归中的稀疏模式。
• 在矩阵分解中，搜索由与当前AO解方向正交的用户或项目潜在向量定义的子空间。
• 在具有MC+惩罚的惩罚回归中，探索由系数的活动集和符号模式定义的子空间，利用一阶条件的分段线性解。
• 采用基于案例的策略求解最优变量更新：测试对应于βj不同符号和大小区间的多个(ψ, ξ)对，并舍弃不一致的解。
• 在由临界阈值（如γλ）定义的每个区间内，求解关于v的线性方程以找到候选解，选择使目标函数最小的解。

实验结果

研究问题

• RQ1 将搜索空间扩展至标准交替优化之外，是否能改善非凸矩阵分解中的收敛性和解质量？
• RQ2 在具有MC+等非凸惩罚的惩罚回归中，EAO与标准AO和坐标下降相比性能如何？
• RQ3 根据数据特定结构定制搜索子空间，能在多大程度上加速EAO的收敛？
• RQ4 探索多个解分支（基于符号和大小区间）对最终目标值有何影响？
• RQ5 EAO能否持续逃离标准AO陷入的较差局部极小值或鞍点？

主要发现

• 在真实世界推荐系统数据的矩阵分解中，EAO显著改善了目标值，优于标准AO和坐标下降。
• 在具有MC+惩罚的惩罚回归中，EAO的解质量优于标准坐标下降，尤其在高维设置下表现更优。
• 当搜索子空间根据数据特征（如稀疏性或低秩结构）进行定制时，EAO的收敛速度远快于通用实现。
• 该方法通过探索替代子空间成功逃离了较差的局部极小值，且在多个真实世界和模拟数据集上均观察到一致的改进。
• 针对MC+惩罚的分段线性解策略可精确且高效地计算不同βj区间的候选解。
• 可能存在多个一致的解；该方法选择使目标函数最小的解，从而确保相比标准AO实现更优的收敛。