[论文解读] A Note on Task-Aware Loss via Reweighing Prediction Loss by Decision-Regret

Connor Lawless, Angela Zhou|arXiv (Cornell University)|Nov 9, 2022

Age of Information Optimization被引用 4

一句话总结

本文通过使用试点估计器获得的决策后悔来重新加权预测损失，提出了一种简单且计算高效的上下文线性优化中决策感知学习的基线方法。该方法在模型误设情况下，相比标准的先预测后优化方法，显著降低了决策后悔，且在性能上可与复杂的端到端方法（如SPO+）相媲美，同时易于使用标准回归和优化预言机实现。

ABSTRACT

In this short technical note we propose a baseline for decision-aware learning for contextual linear optimization, which solves stochastic linear optimization when cost coefficients can be predicted based on context information. We propose a decision-aware version of predict-then-optimize. We reweigh the prediction error by the decision regret incurred by an (unweighted) pilot estimator of costs to obtain a decision-aware predictor, then optimize with cost predictions from the decision-aware predictor. This method can be motivated as a finite-difference, iterate-independent approximation of the gradients of previously proposed end-to-end learning algorithms; it is also consistent with previously suggested intuition for end-to-end learning. This baseline is computationally easy to implement with readily available reweighted prediction oracles and linear optimization, and can be implemented with convex optimization so long as the prediction error minimization is convex. Empirically, we demonstrate that this approach can lead to improvements over a "predict-then-optimize" framework for settings with misspecified models, and is competitive with other end-to-end approaches. Therefore, due to its simplicity and ease of use, we suggest it as a simple baseline for end-to-end and decision-aware learning.

研究动机与目标

• 解决标准预测聚焦模型与上下文线性随机优化中决策感知优化之间的差距。
• 提出一种计算上可行的方法，将决策后悔纳入预测损失，而无需复杂的端到端反向传播。
• 为端到端学习提供一种实用的基线方法，易于实现，且与现有任务感知学习的直觉一致。
• 通过实证评估，检验是否通过决策后悔重新加权预测误差，可带来相比标准先预测后优化方法的更优决策后悔。

提出的方法

• 通过试点（未加权）成本估计器获得的决策后悔，对成本预测器的均方误差（MSE）进行重新加权。
• 将重新加权后的MSE用作训练预测器的代理损失，随后在先预测后优化框架中使用该预测器。
• 通过在更新预测器和基于决策后悔重新加权数据点之间交替优化，实现迭代重新加权。
• 该方法被解释为端到端决策感知学习目标梯度的零阶、与迭代无关的近似。
• 该方法利用标准凸优化预言机进行预测，使用线性规划进行决策。
• 通过混合超参数ν平衡均匀加权与基于后悔的加权。

实验结果

研究问题

• RQ1 在模型误设情况下，通过决策后悔重新加权预测损失，是否能带来相比标准先预测后优化方法更优的决策后悔？
• RQ2 与SPO+等成熟端到端方法相比，所提方法的性能如何？
• RQ3 迭代重新加权是否能提升性能，还是在单次迭代后即已收敛？
• RQ4 为何在使用随机森林等非参数模型时，重新加权无法改善预测？
• RQ5 该方法是否是线性优化中决策感知学习的一种可行且简单的基线？

主要发现

• 在模型误设情况下，重新加权MSE方法相比标准先预测后优化方法，将测试决策后悔降低了30%–60%，且随着训练数据增加，效果更显著。
• 在最短路径实验中，该方法性能与SPO+相当，优于先预测后优化方法，并在标准化的样本外决策后悔上与SPO+持平。
• 迭代重新加权（K > 1）带来的性能提升可忽略不计，表明单次重新加权步骤后即已收敛。
• 使用随机森林预测器时，重新加权效果微弱，这与预期一致，因为该模型具有非参数灵活性和对误设的鲁棒性。
• 该方法计算高效，且可使用标准回归和线性规划预言机轻松实现，因此是决策感知学习的强有力实用基线。