[论文解读] Large scale multi-objective optimization: Theoretical and practical challenges

Kinjal Basu, Ankan Saha+1 more|arXiv (Cornell University)|Feb 9, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 9被引用 4

一句话总结

本文提出了一种可扩展的、方差减少的大型多目标优化方法，采用拉格朗日对偶与约束优化，能够精确处理用户和项目级别的约束。通过算子分裂与方差减少技术，该方法实现了100倍的可扩展性提升，并将对偶估计方差降低了两个数量级，显著推动了多目标优化在在线系统中的工业部署。

ABSTRACT

Multi-objective optimization (MOO) is a well-studied problem for several important recommendation problems. While multiple approaches have been proposed, in this work, we focus on using constrained optimization formulations (e.g., quadratic and linear programs) to formulate and solve MOO problems. This approach can be used to pick desired operating points on the trade-off curve between multiple objectives. It also works well for internet applications which serve large volumes of online traffic, by working with Lagrangian duality formulation to connect dual solutions (computed offline) with the primal solutions (computed online). We identify some key limitations of this approach -- namely the inability to handle user and item level constraints, scalability considerations and variance of dual estimates introduced by sampling processes. We propose solutions for each of the problems and demonstrate how through these solutions we significantly advance the state-of-the-art in this realm. Our proposed methods can exactly handle user and item (and other such local) constraints, achieve a $100 imes$ scalability boost over existing packages in R and reduce variance of dual estimates by two orders of magnitude.

研究动机与目标

• 解决现有约束优化方法在大规模多目标优化中的局限性，特别是用户和项目级别约束的处理，以及对偶估计方差过高的问题。
• 通过提升对偶解估计的效率与准确性，实现在线系统中可扩展的实时优化。
• 提供一个实用框架，能够在保持工业规模计算可行性的同时，精确处理局部约束。
• 降低采样过程中对偶估计的方差，以提升在线推荐系统中结果的可靠性。
• 在LinkedIn真实应用场景（如信息流排序与邮件组合优化）中验证该方法的有效性。

提出的方法

• 利用拉格朗日对偶性，将离线对偶解计算与在线原始解推理解耦，实现高效的在线部署。
• 在离线阶段使用ADMM（交替方向乘子法）求解大规模二次规划问题，相比标准R包实现100倍的可扩展性提升。
• 引入三种方差减少技术，利用来自多条采样路径的控制变量，以稳定对偶估计的收敛过程。
• 采用一种对偶到原始的转换算法，结合离线对偶变量与在线项目得分，为每位用户计算最优动作向量。
• 将用户和项目级别的约束直接整合到优化公式中，确保局部边界的精确满足。
• 在单台机器上求解包含高达~10^6个变量的对偶问题，远超此前约10,000个变量的限制。

实验结果

研究问题

• RQ1 如何在大规模多目标优化中精确强制执行用户和项目级别的约束，以适用于在线系统？
• RQ2 在不增加计算成本的前提下，有哪些技术可降低基于采样的大规模优化中对偶估计的方差？
• RQ3 算子分裂方法能否扩展至变量数量为先前工业系统100倍的问题规模？
• RQ4 通过控制变量实现的方差减少，如何提升在线推荐系统中对偶解的可靠性？
• RQ5 所提出的框架在真实工业应用（如信息流排序与邮件组合优化）中的适用范围有多大？

主要发现

• 所提方法实现了100倍的可扩展性提升，可在单台机器上求解包含高达~10^6个变量的二次规划问题，相较之前约10,000个变量的限制有显著突破。
• μ₀的对偶估计方差从旧方法的16,401.07降低至11.73（采用完整方差减少技术），实现1,400倍的降低。
• 利用多条采样路径与控制变量，方差进一步降低了4倍，超越了仅通过增加样本量带来的初始400倍减少效果。
• 该方法可精确强制执行用户级别约束，例如每日最多显示3条广告，而此前方法无法实现此类精确处理。
• 该框架已成功应用于LinkedIn的信息流与邮件组合优化，证明了其在真实系统中的可行性与性能优势。
• 算子分裂与方差减少技术的结合，产生了高度稳定且精确的对偶估计，使大规模多目标优化在在线实时应用中成为可能。