[论文解读] Decision-Focused Learning: Through the Lens of Learning to Rank

Jayanta Mandi, Víctor Bucarey+2 more|arXiv (Cornell University)|Dec 7, 2021

Machine Learning and Data Classification被引用 16

一句话总结

本文将决策聚焦学习重新表述为一个排序问题，目标是根据目标函数值对可行解进行排序。它提出了可微的点对式、成对式和列表式排序损失，推广了先前的工作，实现了端到端训练，减少了优化调用次数，同时通过解子集采样保持了较低遗憾并提升了训练效率。

ABSTRACT

In the last years decision-focused learning framework, also known as predict-and-optimize, have received increasing attention. In this setting, the predictions of a machine learning model are used as estimated cost coefficients in the objective function of a discrete combinatorial optimization problem for decision making. Decision-focused learning proposes to train the ML models, often neural network models, by directly optimizing the quality of decisions made by the optimization solvers. Based on a recent work that proposed a noise contrastive estimation loss over a subset of the solution space, we observe that decision-focused learning can more generally be seen as a learning-to-rank problem, where the goal is to learn an objective function that ranks the feasible points correctly. This observation is independent of the optimization method used and of the form of the objective function. We develop pointwise, pairwise and listwise ranking loss functions, which can be differentiated in closed form given a subset of solutions. We empirically investigate the quality of our generic methods compared to existing decision-focused learning approaches with competitive results. Furthermore, controlling the subset of solutions allows controlling the runtime considerably, with limited effect on regret.

研究动机与目标

• 将决策聚焦学习重新表述为一个排序问题，目标是根据目标函数值对可行解进行排序。
• 开发可微的排序损失函数——点对式、成对式和列表式，可用于在决策聚焦设置中训练机器学习模型。
• 证明成对排序损失推广了先前工作中噪声对比估计损失，以一种更合理的方式进行了改进。
• 研究在目标函数为线性时，预测的均方误差（MSE）与决策质量遗憾之间的权衡。
• 证明在训练过程中对可行解进行子采样可显著减少运行时间，同时对遗憾影响极小。

提出的方法

• 提出将决策聚焦学习视为一个学习排序（LTR）问题，模型学习根据目标值对可行解进行排序。
• 引入三种可微排序损失函数：点对式、成对式和列表式，所有损失均可在给定解子集的情况下闭式计算。
• 推导出在线性目标函数下，点对式损失和成对差值损失对应于MSE与遗憾之间的权衡。
• 采用解子集采样（通过 $p_{\text{solve}}$）减少训练过程中的优化调用次数，将解的生成与损失计算解耦。
• 使用MSE与列表式排序损失的凸组合来平衡预测准确性和决策质量，其中可调超参数为 $\alpha$。
• 使用标准优化求解器生成解子集，随后用于计算排序损失，而无需枚举所有可行解。

实验结果

研究问题

• RQ1 决策聚焦学习能否更一般地被表述为一个学习排序问题，目标是根据目标值对可行解进行排序？
• RQ2 标准学习排序损失（点对式、成对式、列表式）在遗憾和训练效率方面与现有决策聚焦学习方法相比表现如何？
• RQ3 在决策聚焦学习中，对可行解集合进行子采样在多大程度上影响遗憾和训练时间？
• RQ4 在目标函数为线性的情况下，预测的均方误差（MSE）与遗憾之间存在何种关系？
• RQ5 结合MSE与列表式排序的混合损失是否能改善预测准确性与决策质量之间的权衡？

主要发现

• 成对差值损失函数推广了Mulamba等人（2021）工作中提出的噪声对比估计损失，提供了更合理且有效的公式化。
• 列表式排序损失在所有问题实例中均实现最低遗憾，表现出对模型误设的强鲁棒性。
• 将解采样率 ($p_{\text{solve}}$) 从100%降低至10%，可使每轮训练时间减少高达75%，遗憾增加极小，显著提升了效率。
• 点对式损失实现最低MSE，但遗憾最高，表明预测准确性与决策质量之间存在脱节。
• 成对差值损失在两者之间取得良好平衡，MSE略优于列表式损失，遗憾与最佳方法相当。
• 结合MSE与列表式排序的混合损失可通过超参数 $\alpha$ 调节预测准确性与决策质量之间的权衡，使模型能够根据具体应用需求进行调整。