[论文解读] Generalized Majorization-Minimization

Sobhan Naderi Parizi, Kun He+3 more|arXiv (Cornell University)|Jun 25, 2015

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

本文提出广义拟凸最小化（G-MM），这是一种灵活的框架，通过放宽传统拟凸最小化（MM）中严格的接触约束，允许更广泛的合法边界。通过将边界构造与必须接触目标函数的条件解耦，G-MM降低了对初始化的敏感性，并可直接整合应用特定的先验信息，从而在聚类和潜变量模型中持续优于MM，实现更高的准确率和更快的收敛速度，即使使用有偏边界亦然。

ABSTRACT

Non-convex optimization is ubiquitous in machine learning. Majorization-Minimization (MM) is a powerful iterative procedure for optimizing non-convex functions that works by optimizing a sequence of bounds on the function. In MM, the bound at each iteration is required to \emph{touch} the objective function at the optimizer of the previous bound. We show that this touching constraint is unnecessary and overly restrictive. We generalize MM by relaxing this constraint, and propose a new optimization framework, named Generalized Majorization-Minimization (G-MM), that is more flexible. For instance, G-MM can incorporate application-specific biases into the optimization procedure without changing the objective function. We derive G-MM algorithms for several latent variable models and show empirically that they consistently outperform their MM counterparts in optimizing non-convex objectives. In particular, G-MM algorithms appear to be less sensitive to initialization.

研究动机与目标

• 为解决传统拟凸最小化（MM）的局限性，特别是其对初始化的敏感性以及在整合应用特定先验信息方面的僵化性。
• 开发一种广义优化框架，在保持收敛性的同时，允许在传统接触约束之外选择更灵活的边界。
• 在不修改目标函数的前提下，实现侧信息（如先验知识或不确定性建模）的集成。
• 通过实证验证，G-MM在非凸优化任务中优于标准MM，尤其在潜变量模型和聚类任务中表现更优。
• 为放宽边界接触条件在迭代优化中的合理性，提供理论与实践依据。

提出的方法

• G-MM通过放宽要求边界必须在前一迭代最优解处接触目标函数的条件，对MM进行泛化。
• 引入基于目标函数改进程度的进展度量，允许选择任何能实现足够进展的有效边界。
• 该框架支持确定性和随机边界选择策略，包括使用应用特定函数进行有偏采样。
• 在潜变量模型中，G-MM使用偏好更一致标记方式（如低Potts能量）的偏差函数。
• 通过确保每个边界均能实现目标函数的充分下降，即使不接触原函数，仍保持收敛性保证。
• G-MM被应用于k-means聚类和潜在结构SVM，其边界构造根据问题结构进行定制。

实验结果

研究问题

• RQ1 放宽MM中的接触约束是否能提升非凸优化中的收敛鲁棒性并降低对初始化的敏感性？
• RQ2 G-MM是否能在不修改目标函数的前提下，整合应用特定先验信息（如标签一致性先验）？
• RQ3 在潜变量模型中，G-MM是否在最终目标值和准确率方面优于标准MM和CCP？
• RQ4 边界选择策略（随机 vs. 有偏）的选择如何影响G-MM的性能和收敛速度？
• RQ5 G-MM是否能在允许更灵活、更富信息量的边界构造的同时，保持收敛性保证？

主要发现

• 在多个实验中，使用随机边界的G-MM在训练目标值和测试准确率方面始终优于CCP。
• 使用偏好一致标记（如低Potts能量）的偏差函数，使场景识别任务中的准确率从CCP的46.6%提升至G-MM的56.0%（λ=1时）。
• 在聚类任务中，G-MM对初始化的敏感性显著低于CCP，多组随机种子下的方差更小。
• 在场景识别实验中，使用有偏边界的G-MM仅需87次迭代（MM需145次），且达到更低的目标值。
• 在聚类任务中，使用有偏边界的G-MM平均仅需138.64 ± 5.9次迭代（MM为114.98 ± 12.9次），但实现了更优的平均性能。
• G-MM的边界优化开销可控，场景识别中采样耗时数秒，聚类中耗时数分钟，而优化步骤仍保持高效。