[论文解读] Fast and Simple Optimization for Poisson Likelihood Models

Niao He, Zaïd Harchaoui+2 more|arXiv (Cornell University)|Aug 3, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用 10

一句话总结

本文提出了一种用于惩罚泊松似然模型的新鞍点重 formulation，可实现快速的一阶优化，收敛速率为 O(1/t)，显著快于非光滑问题的标准 O(1/√t)。该方法利用重 formulation 后问题中的光滑结构，并引入一种带有随机块版本的复合镜像近似（Mirror Prox）算法，实现了在网络估计和时间推荐等应用中的高效大规模优化。

ABSTRACT

Poisson likelihood models have been prevalently used in imaging, social networks, and time series analysis. We propose fast, simple, theoretically-grounded, and versatile, optimization algorithms for Poisson likelihood modeling. The Poisson log-likelihood is concave but not Lipschitz-continuous. Since almost all gradient-based optimization algorithms rely on Lipschitz-continuity, optimizing Poisson likelihood models with a guarantee of convergence can be challenging, especially for large-scale problems. We present a new perspective allowing to efficiently optimize a wide range of penalized Poisson likelihood objectives. We show that an appropriate saddle point reformulation enjoys a favorable geometry and a smooth structure. Therefore, we can design a new gradient-based optimization algorithm with $O(1/t)$ convergence rate, in contrast to the usual $O(1/\sqrt{t})$ rate of non-smooth minimization alternatives. Furthermore, in order to tackle problems with large samples, we also develop a randomized block-decomposition variant that enjoys the same convergence rate yet more efficient iteration cost. Experimental results on several point process applications including social network estimation and temporal recommendation show that the proposed algorithm and its randomized block variant outperform existing methods both on synthetic and real-world datasets.

研究动机与目标

• 解决惩罚泊松似然模型缺乏高效且理论保证的优化算法的问题，此类模型广泛应用于成像、社交网络和时间序列分析。
• 克服泊松对数似然非利普希茨连续的问题，避免标准梯度方法在缺乏理论保证时不可靠的问题。
• 设计一种可扩展的优化框架，能够同时处理非光滑正则化（如 ℓ1、核范数）和非利普希茨似然。
• 开发一种随机块分解变体，以降低大规模问题的每轮迭代成本，同时保持收敛性保证。

提出的方法

• 将惩罚泊松似然问题重 formulation 为鞍点问题，以利用对偶变量空间中的有利几何结构和光滑性。
• 采用基于熵的距离生成函数的复合镜像近似算法，以处理非光滑正则化和非利普希茨似然。
• 基于梯度信息使用指数加权方法对原始变量（x, X）和对偶变量（y）进行邻近更新。
• 设计一种随机块变体，每次仅选择一个用户的数据进行更新，将每轮迭代成本从 O(m) 降低至 O(m/n)，其中 m 为总事件数，n 为用户数。
• 利用点过程（如霍克斯过程）中条件强度函数的结构，将似然表示为参数的线性形式。
• 通过有界重 formulation 问题中原始-对偶映射的利普希茨常数，确保理论收敛性。

实验结果

研究问题

• RQ1 一阶优化方法能否在具有非光滑正则化的非利普希茨泊松似然模型上实现 O(1/t) 的收敛速率？
• RQ2 对泊松似然问题进行鞍点重 formulation 是否能产生一个光滑且结构良好的优化问题，从而适用于高效的梯度方法？
• RQ3 能否通过随机块更新降低大规模泊松似然优化的计算成本，同时不牺牲收敛速率？
• RQ4 在真实世界点过程数据上，所提算法与现有方法相比，在收敛速度和精度方面表现如何？
• RQ5 所提方法在高维问题（如网络估计和时间推荐）中是否具备鲁棒性和可扩展性？

主要发现

• 所提出的复合镜像近似算法在原始-对偶间隙上实现了 O(1/t) 的收敛速率，显著快于非光滑问题的标准 O(1/√t)。
• 随机块变体在将每轮迭代成本从 O(m) 降低至 O(m/n) 的同时，仍保持 O(1/t) 的收敛速率，从而实现了高效的大型规模优化。
• 在合成数据集和真实世界数据集上，所提算法在网络估计和时间推荐任务中均表现出优于现有方法的收敛速度和解的精度。
• 鞍点重 formulation 有效地将非利普希茨泊松似然转化为具有有利光滑性和几何结构的问题，从而支持高效优化。
• 实证结果证实，该方法对高维设置具有鲁棒性，并能通过 ℓ1 和核范数惩罚有效促进稀疏性和低秩结构。
• 该算法在时间推荐和社交网络估计任务中达到了最先进性能，展示了实际的可扩展性和精度。