[论文解读] Large-scale Stochastic Optimization of NDCG Surrogates for Deep Learning with Provable Convergence

Zi-Hao Qiu, Quanqi Hu+3 more|arXiv (Cornell University)|Feb 24, 2022

Recommender Systems and Techniques被引用 4

一句话总结

本文提出了首个在深度学习中针对NDCG和top-K NDCG代理函数的随机优化算法，具备可证明的收敛性保证。通过将NDCG优化建模为有限和耦合复合问题，将top-K NDCG建模为双层复合问题，作者开发了高效的随机算法，其每轮迭代复杂度仅与小批量大小成比例，实现了O(1/ε⁴)的收敛速率，并在排序基准测试中优于先前方法。

ABSTRACT

NDCG, namely Normalized Discounted Cumulative Gain, is a widely used ranking metric in information retrieval and machine learning. However, efficient and provable stochastic methods for maximizing NDCG are still lacking, especially for deep models. In this paper, we propose a principled approach to optimize NDCG and its top-$K$ variant. First, we formulate a novel compositional optimization problem for optimizing the NDCG surrogate, and a novel bilevel compositional optimization problem for optimizing the top-$K$ NDCG surrogate. Then, we develop efficient stochastic algorithms with provable convergence guarantees for the non-convex objectives. Different from existing NDCG optimization methods, the per-iteration complexity of our algorithms scales with the mini-batch size instead of the number of total items. To improve the effectiveness for deep learning, we further propose practical strategies by using initial warm-up and stop gradient operator. Experimental results on multiple datasets demonstrate that our methods outperform prior ranking approaches in terms of NDCG. To the best of our knowledge, this is the first time that stochastic algorithms are proposed to optimize NDCG with a provable convergence guarantee. Our proposed methods are implemented in the LibAUC library at https://libauc.org/.

研究动机与目标

• 为解决深度学习中最大化NDCG时缺乏高效且可证明收敛的随机优化方法的问题。
• 克服现有NDCG优化方法每轮迭代成本过高的问题，这些方法的复杂度与项目总数n成比例。
• 为标准NDCG和top-K NDCG代理函数开发一个基于原理的随机优化框架，并具备理论收敛保证。
• 通过初始热身和梯度截断策略，提升深度学习中的实际有效性。

提出的方法

• 将NDCG代理函数优化建模为有限和耦合复合优化（FCCO）问题。
• 提出一种新颖的FCCO随机算法，实现O(1/ε⁴)的收敛速率，优于先前工作的O(1/ε⁵)边界。
• 为top-K NDCG提出双层复合优化公式，整合多个下层选择问题。
• 为top-K NDCG优化中的非光滑选择算子引入平滑技术。
• 采用对下层问题的小批量采样策略，降低每轮迭代的复杂度。
• 引入实用策略：通过初始热身实现更优的初始化，以及使用梯度截断算子以简化top-K NDCG优化。

实验结果

研究问题

• RQ1 是否可以实现每轮迭代复杂度与项目总数n无关的NDCG随机优化？
• RQ2 在非凸深度学习设置下，是否能够开发出针对NDCG代理函数优化的可证明收敛随机算法？
• RQ3 如何有效构建并求解涉及不可微选择算子的top-K NDCG优化问题？
• RQ4 哪些实用策略能够提升深度学习中NDCG优化的收敛性和性能？
• RQ5 所提出的方法是否能在NDCG性能上超越现有最先进排序方法？

主要发现

• 所提出的NDCG代理函数优化随机算法实现了O(1/ε⁴)的收敛速率，优于先前工作的O(1/ε⁵)速率。
• 该算法的每轮迭代复杂度仅与小批量大小B成比例，不随项目总数n增长，从而支持大规模深度学习应用。
• 对于top-K NDCG，采用平滑选择算子的双层复合公式可实现高效的随机优化，同样具备O(1/ε⁴)的收敛速率。
• 初始热身策略显著提升了初始解的质量，从而加快收敛速度。
• 梯度截断算子简化了top-K NDCG代理函数的优化过程，并增强了训练稳定性。
• 在排序学习和推荐系统任务上的实证结果表明，所提方法在NDCG性能上持续优于先前方法。